四年春，贰师来至京师，贰师所过小国，听说大宛已破，皆使其子弟从入贡献见天子。因留为人质。
此次出征，军中并不乏食，战死者也不甚多。然而失亡弥多，是因为将领贪暴，不爱惜士卒，因而物故者众。天子认为万里出征，不录其过于是下诏封李广利为海西侯。封赵弟为新畤侯。以上官杰为少府，军官吏为九卿者三人。诸侯相郡守二千石百余人。千石以下千余人。因激愤而从军的官过其望，以谪过而从军的则免其过而不叙其劳。士卒赏赐值四万钱。
匈奴闻贰师征大宛，想在半路截击，但贰师兵盛，不敢当其锋，即遣骑兵去楼兰道，等候后过的汉使，欲绝其道。当时汉军军正任文将兵屯玉门关，捕得生口，以状上闻。皇上诏任文便道捕楼兰王，将要旨阙簿责，楼兰王说：“小国在大国之间生存，不两面讨好无以自安。愿迁徙国民，入居汉地。”皇上以其言为直，遣归国。亦派使者候伺匈奴。匈奴自此不甚亲信楼兰。
自大宛破后，西域震惧，汉使入西域者更容易得到官职。于是自敦煌西至盐泽，往往起建亭障，而轮台渠犂，皆有田卒数百人，置使者校尉领护。以供给出使国外的使者。
后岁余，宛贵人以为昧蔡善谀，使我国遭屠，乃相约杀昧蔡，立毋寡昆弟蝉封为宛王。而遣其子入伺于汉。汉因派使者贿赐以镇抚之。蝉封与汉约，岁献天马二匹。
秋，起明光宫。
冬，皇上行幸回中。匈奴呴犁单于死。匈奴立其弟左大都尉且鞮侯为单于。
天子欲因伐宛之威，围困胡虏。就下诏说：“高皇帝为朕留下了平城之忧，高后时，单于书绝悖逆，昔齐襄公复九世之仇，春秋以为大义。”且鞮侯单于初立，恐汉袭击他，就说：“我是儿子安敢望汉天子，汉天子，是我丈人辈的人，我尊敬他。”因将当初留置不遣又不肯投降的汉使路充国等放归。
天汉元年，春正月。皇上行幸甘泉，郊祭泰畤。三月，行幸河东，祠后土。
皇上感于匈奴单于之义，遣中郎将苏武护送留在大汉的匈奴使节归国。并厚贿单于，答其善意。苏武与副中郎将张胜及假吏常惠等一道前去。既至匈奴，将财物交付单于，单于益加骄横，汉希望他回心转意的愿望是落空了。
正好这时匈奴的缑王与长水的虞常等将联合卫律所将的归降匈奴的军队，思谋劫单于的母亲归汉，卫律，父亲是故长水的胡人，卫律与协律都尉李延年相善，李延年荐卫律出使匈奴，出使还都，闻李延年家收斩，遂亡降匈奴。单于爱之，常与他计议国事，立为丁零王。虞常在汉时，与副使张胜相善，这时私下里约会张胜说：“听说天子甚是怨恨卫律，虞常能为大汉伏弩刺杀他。我的母亲兄弟在汉，希望能有幸蒙其赏赐。”张胜许诺了他，并送给他一些财物。后月余，单于出猎，只有其母亲子弟在，虞常等七十余人，将要发难，不想有一人临阵退缩，逃走告变，单于子弟等发兵与之对战，缑王等皆战死，只有虞常被生得。单于使卫律按治其事，张胜闻变，恐怕与虞常接头的事被发觉，只好将前情告诉苏武，苏武说：“事已至此，必定会连累到你我，事发必死，只是有负国家重望。”说完就要自杀，张胜与常惠一道阻止他才作罢。
虞常果然招出了张胜，单于大怒，招诸贵人商议，欲杀汉使者左伊秩訾说：“他们只是谋杀卫律，又没有亲行其事，罪不至死，不如使他们归降大王。”
单于以为然，使卫律招苏武，劝其归降。将行，苏武对常惠等人说：“屈节辱命，虽活着，又有何面目归汉？”因引佩刀自刺。卫律大惊，亲自抱持苏武，驰马招医。
苏武既至单于廷，单于使人凿地为坎，下置火炉，使苏武平躺于火上，令人在上蹈其背，其背出血，苏武气绝。半日复苏、常惠等哭着扶他归营。单于壮其气节，朝夕遣人候问苏武，却将张胜收系入狱。等到苏武将要痊愈了，单于派使者前去向苏武传达劝其归降的意愿，并将苏武请到了判决虞常的现场。想要借此要挟苏武投降。
剑斩虞常后，卫律说：“汉使张胜谋杀单于近臣，其罪当死。但单于有令，肯降者可赦免其罪，”说完举剑将要击杀张胜，张胜请降。卫律对苏武说：“副手有罪，正职理当相坐。”
苏武说：“本来就没有参与，又不是亲属，何来相坐之说？”
卫律起身，举剑做砍向苏武状，苏武凛然不动。
卫律无奈说：“苏君，卫律前日负汉归匈奴，幸蒙大恩，赐号称王，拥众数万，马畜弥山，富贵如此。苏君今日降，明日也会和我一样不降的话，空自以身归草野，又有谁知道呢？”苏武不应。卫律又说:“苏君如果因我而降，我愿与君结为兄弟富贵共之。若不听我言，以后想要见我，也是不可能的了。”
苏武骂卫律说：“你为人臣子，不顾恩义，畔主背亲，在蛮夷为降虏，我见你干什么？况且单于相信你，使你决人生死，你不平心持正，反要斗两主，观祸败。你记住了，南越杀汉使，屠为九郡。宛王杀汉使，头悬北阙。朝鲜杀汉使，即时诛灭。只有匈奴还没发生这事。你明知我不会归降，只不过欲令两国相攻罢了。匈奴之祸将自我苏武开始了。”
卫律知道苏武终不可胁之使降，就将情况告诉单于，此时单于更加希望说降苏武，就将苏武幽囚在大窖中