帝的世子妃庾文君因晋成帝只有四岁临朝听政，庾氏家族开始以外戚身份崛起。庾文君的兄长庾亮继承了大权臣王导的位置，总领政务，庾亮死后他的弟弟庾冰接任大权臣的职务，庾冰的弟弟庾翼则把持东晋最重要的外镇官员荆州刺史一职。

之后庾家没落，让出来的空位，经过几番权力斗争，最后的赢家桓温，得到了荆州刺史的位置，东晋进入桓氏时代。

可以说，晋室南渡之后，直至晋朝灭亡，“王谢桓庾”四大家族先后交