从此我就在这片令人心醉神迷的湖光山色中遥控着整个帝国。
朝廷官吏每天都要抱着一大堆文书来到我的府中呈报，大小政务都先经过我的幕僚廖莹中和翁应龙处理，随后再由我决断。朝中的一帮宰执大臣都成了摆设，只是在我审阅批准过的文书后面署名而已。朝野上下向我献媚求官的人络绎不绝地在我的葛岭豪宅中出入穿梭。当时民间流传着这么一句话：“朝中无宰相，湖上有平章。”
咸淳四年（公元1268年）正月，被我几度要挟的度宗皇帝终于忍不住发了几句牢骚，下诏说：“近年来一些大臣动不动就请辞，似乎以此为清高，俨然已经形成一种风气。朕于诸贤，应该说并无亏待，若众人均以此为尚，难免让人疑心是诸贤辜负了朕啊！”
我一听这话味道不对，几个月后再次称疾求去。度宗皇帝傻了眼，涕泗横流地苦苦挽留，并且许我一月两赴经筵，六日一朝，我才做出一副勉强的样子留了下来。
从这一年开始，帝国的末日就开始降临了。
