1867年的3月20日，新撰组的几个主要成员和番长，也就是小组组长，宣布脱离新撰组，其中最为有名的就是伊东甲子太郎。伊东历任新撰组二番队队长，以及新撰组的参谋。和他一起离开的还有五番队队长，同样是新撰组参谋的武田观柳斋。他们两人的离开相当于新撰组失去了智囊，也失去了足够的冷静。从那以后，新撰组就开始进入急速下降通道。

在那之后，作为效忠幕府的典型，新撰组不断与其他势力发生冲突，