朝方的今川氏于三方原击败，后南朝灭亡，井伊氏急转衰落。

战国时代，1505年，第20代当主井伊直平成为曳马城城主。1513年，今川氏发动远江侵攻，大败斯波、井伊、大河内联军，夺取三岳城，井伊氏被迫臣从。但是，由于井伊氏仍拥有井伊谷城6万石，曳马城6万石，共计12万石的领地，势力可与大名相媲美，所以今川氏并不信任井伊氏。

1544年，直平决定由幼孙直亲作为嫡孙直盛之养子成为第23