李泰亦或是晋王李治都更有可能登上大宝、御极天下，故而对李承乾甚为疏远。后来李承乾渐渐坐稳储君之位，却将房俊视为肱骨，这使得柴哲威就算想接近也碍于情面，毕竟他自视为年轻一辈当中独掌军权的佼佼者，这般便利之条件使得他无论支持谁，都必然作为将来新朝第一武勋，如何肯居于房俊之下？

甚至于就算他肯权力襄助晋王李治争储，成功之后他难道就能排在长孙家前边？

左右都只能做一个附庸之位，这令他极