天宝二年(743)年，杨慎矜升迁为权判御史中丞，充任京畿采访使，并兼任太府出纳使的职务。朝廷之中右相李林甫手握重权，杨慎矜审时度势认为自己此次升迁拜官没有通过李林甫的门路直接升上去，不合世情，他怕得罪李林甫，不敢接这个任命，坚持不授。
通过这件事，李林甫很满意杨慎矜的辞授行为，把他划归到自己一党。
杨慎矜如果是个平庸之人，他也许能幸福安乐的过完此生，可惜的是他是个有理想有抱负的人，凭借自己的实力他升迁很快，深受皇上的重用。这又让李林甫心里不愤起来，他不能容忍别人比自己优秀，他要打压，打压一切可能威胁到自己的任何人，故此，杨慎矜千躲万防还是没躲过李林甫的迫害。