李世民几次都想说恢复裴寂的宰相之位，让裴寂继续在朝廷中做官，辅佐自己，但他想想裴寂是他父皇最忠心的老臣，有裴寂在朝廷，他父皇就会有所依仗，甚至会生出复位的心思。
裴寂和长孙无忌等他的心腹手下关系也势同水火，如果让裴寂继续在朝中做官，那朝臣们就不能团结一心，共同治理好大唐，而是会互相敌视、互相拆台，只会把朝廷搞得一团糟。
并且李世民早就看出来裴寂的能力并不是很高，比起房玄龄、杜如晦差得远，所以不管从哪方面来说，都不能让裴寂继续回来做宰相。
于是李世民就压下心中让裴寂回来继续做宰相的冲动，而是无比感激、亲切、真诚地告诉裴寂，以后皇宫的大门对是敞开的，不管什么时候，只要裴寂来皇宫，就可以直接来甘露殿见他，他会告诉守卫皇宫的金吾卫，不管裴寂什么时候来，都不得阻拦，必须带他来甘露殿见自己。