议于马己仙峡道另建新的总督府，但因经济问题及二次世界大战爆发而搁置。

战后总督府继续用作总督之官邸。港督杨慕琦于1946年迁回官邸，把日式装置拆除，并改建成四间睡房和浴室。下一任港督葛量洪则在房间墙壁上镶嵌饰板，加装壁炉，增建露台，安装独立空调等，并在主楼门廊入口加置两只石狮子。港督麦理浩则为港督府进行大规模翻新，更换屋顶，宴会厅首次安装中央空调，花园建设腰形泳池;扩充员工宿舍，并加建风