魏征北大将军，但他在尔朱天光与高欢之争中站在尔朱一边，不久尔朱大败，于谨逃入关中，投奔贺拔岳，被任命为卫将军，担任咸阳郡守。

贺拔岳遇害后，于谨向宇文泰献迁都关中之策。随后，于谨跟随宇文泰参加了诸次战役，并带领宇文护、杨忠攻下了梁都江陵。“拜司空，增邑四百户。十五年，进位柱国大将军。”

宇文泰死后，宇文护受命辅政，而于谨在大多数人迟疑之际，说服大家服从宇文护，化解了分裂倾向。