朝时，曾任建安王法曹参军、西阳王友。入隋后，官秘书郎、起居舍人。隋朝灭亡后，被窦建德任命为黄门侍郎。李二灭窦建德后，引虞世南为秦王府参军、记室参军、弘文馆学士，与房玄龄等共掌文翰，为“十八学士”之一。

武德九年八月，李二即位，虞世南转任着作郎，兼弘文馆学士。这一年，虞世南已经六十有九，于是上表请求辞官，李二下诏不允，升他为太子右庶子，虞世南坚决推辞不受，被授为秘书少监。

今年，