冬十月，封杜延年为建平侯。燕仓为宜城侯。故丞相徵事任宫捕得上官杰，封为弋阳侯。丞相少史王山寿诱上官安入府，为商利侯。
过了很久，郡举文学济阴魏相参与对策。以为当初燕王为无道，韩义出身强谏，为燕王所杀。韩义无比干之亲，而蹈比干之节，应该显赏其子以示天下，使天下人明白为人臣应该坚守的志节。于是就使韩义之子韩延寿为谏大夫。
大将军霍光以为朝无旧臣，而光禄勋张安世，自先帝时为尚书令，志行纯笃。乃用张安世为右将军。兼光禄勋。以作为自己的副手。张安世是故御史大夫张汤之子。霍光又以杜延年有忠节，升为太仆右曹给事中，
霍光持刑罚严格，延年常辅之以宽，吏民上书言便宜，都先送延年处平处复奏。
是岁，匈奴发左右部二万骑为四队，同时入边为寇。汉兵追杀之，斩首获虏九千人。活捉瓴脱王。汉兵则无所失亡。匈奴见瓴脱王在汉，恐他为向导领汉兵攻击他，即向西北远去，不敢南向逐水草。征发人民屯守瓴脱旧地。
二年夏四月，皇上自建章宫迁往未央宫。六月，赦天下。
是岁，匈奴复遣九千骑屯受降城以备汉。并在余吾水上修桥，以备汉兵来时从此桥退走。想要求和亲，又恐汉不听。因此不肯先提出。常使左右放风给汉使者，因此其侵盗就变得少多了，同时又厚待汉使，希望能够渐致和亲。汉室也正好借此羁縻住他。
三年春正月，传言泰山有大石自起立。又上林苑有枯死柳树发新枝。有虫食其叶其缺口竟成文为：公孙病己立。符节令鲁国眭弘上书，言大石自立，僵柳复起，这预示着将有匹庶之人为天子。难道是故废之家，公孙氏当复兴吗？汉家承尧之后，有传国之运。应当求贤人禅帝位，退位后自封百里，以顺天命。眭弘坐设妖言惑众，伏诛。
匈奴单于使犁汙王窥边。以为酒泉，张掖守兵益弱。准备出兵试击，翼望能复得其失地。不想当时汉已得匈奴降者，知道了他们的计划。天子下诏边境戒备。过了不久，右贤王犁汙王帅四千骑，分三队入日勒，屋兰，番和。张掖太守属国都尉发兵截击，大破之。得脱者仅数百人，属国义渠王射杀犁汙王。赐黄金二百斤，马二百匹，并封为犁汙王。从此后匈奴不敢入张掖。
燕王，长公主之乱，桑弘羊子桑迁，逃亡到父亲的故吏侯史吴家，后来桑迁捕得伏法。正好赶上大赦，侯史吴出面自首系狱，廷尉王平，少府徐仁亲治反事，皆以为桑迁坐父反事，而侯史吴藏匿他，并不能定性为藏匿反者，只能定性为藏匿造反的胁从者，因此根据赦令免除了侯史吴的罪过，后来侍御史重新复审以为桑迁精通经术，知父谋反而不谏诤，与反者等同。侯史吴身为三百石的官吏首匿桑迁，不可以和庶人藏匿从反者等同，因此，侯史吴不在大赦之例。奏请覆治。并弹劾廷尉少府故纵反者。少府徐仁，是丞相田千秋的女婿，因此田千秋数次为侯史吴说好话因恐大将军不听，即召集中二千石及以下官员，博士在公车门集会。辩论根据法律侯史吴该当何罪。参与辩论的人都知道大将军的意图，都坚持以为侯史吴为不道，当论罪。次日，田千秋封上众议。书奏，霍光以田千秋擅招官员集会，使内外异言，遂将廷尉王平少府徐仁下狱。朝廷皆恐丞相因此事坐罪。太仆杜延年向霍光上奏说：“官吏纵放犯人有常法，如今却诋毁侯史吴为不道，恐怕有点用法深刻的嫌疑。再者说丞相这个人，平素对待下属没有什么偏见，只是为了为下属说好话而尽他的本责。及擅招官吏，大家的议论却是对他无益。延年愚钝，以为丞相久于世故，自先帝时用事已久，非有大故，是不可弃用的。目前百姓都纷纷议论，以为朝廷用法深刻，今丞相所议，又是狱事，因此事而祸及丞相，恐怕不合众心。会引起群下讙哗，百姓私议，流言四布的局面，延年私下里担心将军会以此失天下人之心。”
霍光以廷尉少府玩弄法律，无论轻重将二人下狱。
夏四月，徐仁自杀。王平与左冯翊贾胜胡皆腰斩。但并不论及丞相，终丞相之身无所贬损。杜延年论议持平，和合朝廷，大抵都如此类。
冬，辽东乌桓反。当初，冒顿破东胡东胡余众散保乌桓及鲜卑山为二族，世代役属匈奴。武帝击破匈奴左地，因将乌桓迁往上谷，渔阳，右北平，辽东塞外。帮助汉室侦察匈奴的动静。并设置护乌桓校尉监领他们。使他们不得与匈奴交通。至此时部众渐强，遂反。
先是匈奴三千余人入五原，杀掠数千人。后又发数万骑傍塞狩猎，边行边攻击塞外亭障。掠取黎民然后逃走。当时汉边境烽火候望精明，匈奴寇边者少有利益，因此很少犯塞。汉又得到匈奴降者，听他们说乌桓曾经掘匈奴先单于之墓，匈奴怨恨他们，这才发二万骑攻*桓。霍光欲发兵邀击，问护军都尉赵充国，充国以为乌桓曾经多次犯边，如今匈奴攻打他。对于汉是有利的。再说匈奴现在很少犯边，北边侥幸无事，蛮夷自相攻击，我们却要发兵邀击如此招寇生事，不是明智的决策。霍光再问中郎将范明友明友以为可击。于是拜明友为渡辽将军，将二万骑出辽东。匈奴听说汉兵到了，引军而去。出征前，霍光告诫明友出兵就不要无获而回。既未遇上匈奴兵，遂挥师直击乌桓，乌桓当时刚与匈奴交兵，士气低落