高桂在行朝海上曾任副相，陈宜中出走占城后又继任知枢密使一职，但其却没有阻止张世杰掌控军权，并协助他控制了朝局，也就是说参与阻止赵昺继承皇位。崖山之战后，行朝迁往琼州，对于这种站错队的官员，即便赵昺与张世杰达成谅解后，自然也不会继续予以重用，只是在朝廷中安排了个闲职，享受着副相的待遇，实际是退居二线了。

所以说对于高桂，赵昺与其几乎没有什么交集，只是在每年的元旦朝会上作为老臣例行邀