杨广深以为然，不料，宇文化及奏道：“陛下，杨义臣抗旨不遵，来护儿一向倨功自傲，二人拥兵自重，时间长了恐怕有不臣之心呀。”
杨广听了坐不住了，一日之内连下三道圣旨，杨义臣和来护儿不得不回兵。杨义臣后来知道真相后，寒心之余装病辞官回了原籍，几年后抑郁而终。
杨义臣撤兵后不久，果然高士达卷土重来，和窦建德占据高鸡泊，数次击败隋军，势力越来越大，很快占据了半个河北。
杨广后悔没听杨义臣的话，但为时已晚，杨广觉得四面楚歌，东都受到严重威胁，便有弃东都迁江都之意。问计文武百官，宇文化及看穿了杨广的心思，心里早有打算的他又溜须拍马一番，说陛下王气本来就在东南，迁都江都乃顺天意之举，必然社稷大幸。
杨广大喜，留下杨侗母子坐镇落阳，让段达和元文都等将官辅佐他们，并让王世充带十万人马守住洛阳。
杨广安排好这一切后，带着文武百官在来护儿和宇文家族的保护下，起大兵十五万迁往江都。