建安十三年（公元208年），甘宁率部投奔孙权，开始建功立业。先后随孙权破黄祖据楚关，随周瑜攻曹仁取夷陵，随鲁肃镇益阳拒关羽，守西陵、擒朱光，率百余人夜袭曹营，战功赫赫。
孙权曾说：“孟德有张辽，孤有甘兴霸，足相敌也。”
他为人仗义疏财，深得士卒拥戴，被陈寿盛赞为“江表之虎臣”。
建安二十五年（公元220年），甘宁去世。
甘宁“少有气力，好游侠”。但他不务正业，他常聚合一伙轻薄少年，自任首领。他们成群结队，携弓带箭，头插鸟羽，身佩铃铛，四处游来荡去。当时，百姓一听铃响，便知是甘宁这帮人到了。时人以“锦帆贼”称呼他们。
甘宁在郡中，轻侠杀人，藏舍亡命，大有名声。他一出一入，威风炫赫。步行则陈列车骑，水行则连接轻舟。侍从之人，披服锦绣，走到哪里，哪里光彩斐然。停留时，常用锦绣维系舟船，离开时，又要割断抛弃，以显示其富有奢侈。
所在城邑的地方官员或那些跟他相与交往之人，如果隆重地接待，甘宁便倾心相交，可以为他赴汤蹈火；如果礼节不隆，甘宁便放纵手下抢掠对方资财，甚至贼害官长吏员。
这种情况，一直持续到他二十多岁。后甘宁不再攻掠别人。他读了一些书，钻研诸子百家之说，想有所作为，便率领八百多人，去依附刘表，留驻南阳。
刘表是东汉末年颇有名气的“八俊”之一，时为荆州刺史。但正如诸葛亮在《隆中对》里分析刘表终不能守住荆州一样，甘宁也发现刘表不习军事，在当时天下不宁、群雄纷争的形势下，终将无成。这时，他听说孙权在江东“招延俊秀，聘求名士，鲁肃、诸葛瑾等始为宾客”，便决定前去投效。
甘宁路经夏口（即后世的湖北武汉），部队不得过，只好暂且依靠江夏太守黄祖。
建安八年（公元二百零八年），孙权领兵西攻江夏，黄祖大败，狼狈逃溃。甘宁将兵为其断后。他沉着冷静，举弓劲射，射杀孙权的破贼校尉凌操。
孙军不敢再追，黄祖性命这才得以保全。甘宁立下大功，可黄祖仍不重用，甘宁也想弃之而去，只是没有一条万全的途径，因而，独自忧愁苦闷，无计可施。
苏飞察知甘宁之意，邀请甘宁，置酒欢宴，酒酣之际，对他说：“我数次推荐，主上不肯任用您。日月流逝，人生几何？应该早做长远打算，寻一个知己，成一番大事！”甘宁停了一会，说：“我也想走，可惜没有合适的机会。”
苏飞说：“我请主上派你去做邾（即后世的湖北黄冈西北）长，那时，你可以自己决定去就。”甘宁非常高兴。
于是，苏飞提出让甘宁任邾长，黄祖同意。甘宁招回原来离去的一些手下，又聚集一些愿意相从的人，带着他们投奔了孙权。
由于周瑜、吕蒙的推荐，孙权对甘宁十分器重，对待他如原来那些老臣一般。甘宁心情愉快，立即向孙权献计：“如今汉家运数日益衰微，曹操更为骄横专断，最终要成为篡汉的国贼。
荆州这个地方，山势屏障利便，江河流畅通行，这是我们东吴西面的屏障啊！我是在刘表手下干过的。据我观察，刘表这个人，自己既没有深谋远虑，接班人有差，根本守不住那地方。将军应该先下手为强，不可落在曹操之后。
图谋刘表的计划，第一步先从黄祖下手。黄祖如今年老，昏聩无能，军资粮食都很缺乏，身边的人在愚弄欺瞒他，而他一味地贪图钱财，在下属官吏兵士们头上克扣索取。这些人都心怀怨恨，而战船及各种作战器具，破损而不加修整，荒误农耕，军队缺乏训练有素的队伍。
主上现在前往进取，必定将他打败。一旦击败黄祖的队伍，即可击鼓西进，前据楚关，军势即增大扩广，这样可逐渐谋取巴蜀之地了。”孙权很赞赏这一意见，坚定了用兵的决心。
当时张昭在座，对甘宁的意见不以为然。他说：“江东自身危急，如果军队真的西征，恐怕必然导致国内大乱。”甘宁不客气地反驳：“国家将萧何那样的重任交给阁下，而您却留守担心出乱子，用什么来追慕古人呢？”
孙权见二人争执，就举杯向甘宁劝酒，并说：“兴霸，今年即出征西进，如同这杯酒，我决定把它拜托给你了。你尽管勉力提出作战方略，使我们一定能打败黄祖，如此就是你立了大功，何必计较张长史的话呢？”
建安十二年（公元二百零七年），孙权第二次西征黄祖，虏其人民而还。《三国志?吴主传》此次战斗没有彻底展开，原因是孙权的母亲病危，而不得不撤军。
建安十三年（公元208年）春，孙权第三次西征黄祖，战斗打的很激烈，但最后果然擒获黄祖。胜利后，孙权分拔一支部队给甘宁指挥，屯兵当口。
孙权攻破黄祖，曾做好了两个匣子，用来盛黄祖和苏飞的首级。苏飞托人向甘宁求告。甘宁说：“就算苏飞不说，难道我甘宁会忘记他的恩情吗？”时孙权摆酒，为诸将庆功。
甘宁走下席位向孙权叩头，血泪交流，对孙权诉说苏飞过去对自己的恩义，并且说明：“甘宁我如果不遇苏飞，早已死填沟壑，当然也就不能尽忠报效您了。
如今苏飞罪当斩杀，我冒昧地向您求情，免他一死。”孙权感动，说：“我可以放过他，可是他若逃跑，怎么办呢？”甘宁担保