虞世南身体文弱,博闻强识。少年时与兄虞世基一起拜博学广识的顾野王为师。十余年勤学不倦,学到紧要处,累旬不盥栉。尤喜书法,与王羲之七世孙智永和尚友善。智永精王羲之书法,虞世南在智永的精心传授下,妙得其体,圆融遒丽,外柔内刚,继承了二王(王羲之,王献之)书法传统。他与当时的欧阳询、褚遂良、薛稷合称唐初四大书法家,而虞世南又是四人中最优者。他写的《孔子庙堂碑》深得唐太宗李世民的赞赏。唐太宗非常喜爱虞世南的字,并经常临写。相传有一天,唐太宗书“戬”字,但戈字还没有写好,正好虞世南进见,即提笔补写了一个“戈”字。唐太宗将两人合写的“戬”字给魏征看,说:“朕学世南,尚近似否? ”魏征看后说:“戈字颇逼真。”虞世南死后,唐太宗叹息道:“世南死后,无人可以论书。” 虞世南一生经历了南朝的陈、隋和初唐三个时代。陈文帝知世南博学,召为法曹参军。陈朝灭亡,与兄世基同入长安,做了隋朝秘书郎,后迁起居舍人。当时世基任内史侍郎,权倾当朝,荣华无比,妻子所用被服,尤胜王侯。虞世南虽与世基同住,仍以勤俭务本。隋灭后,李世民闻虞世南之名,引为秦府参军,又授宏文馆学士,与房玄龄同掌文翰,后来又担任著作郎。一次,唐太宗想在屏风上书写《列女传》,没有临本,虞世南在朝堂上一口气默写出来,不错一字,赢得朝中文士的钦佩。
虞世南虽然容貌怯懦,弱不胜衣,但性情刚烈,当政得失,直言敢谏。他多次讽劝唐太宗要勤于政事,并以古帝王为政得失,论证利弊。贞观八年(公元634年)陇右山崩,唐太宗问“天变”。世南以晋朝以来历次山崩为例,说:“臣闻天时不如地利,地利不如人和。若德义不修,虽获麟凤终是无补;但政事无阙,虽有灾星何损于时。然愿隆下勿以功高古人以自矜伐,勿以太平渐久而自骄怠,慎终如始。”唐太宗听后敛容反省。他一再劝阻唐太宗筑陵墓厚葬,使唐太宗有所收敛。他还严正劝阻唐太宗不要恣于游猎而疏于政事。这些都对当时的“贞观之治”起着积极的作用。唐太宗曾对大臣们说:“你们如果都像虞世南那样刚正忠烈,天下何忧不理。”
虞世南年逾古稀后,屡次上表求退,不许,被封为永兴县子,人称“虞永兴”。贞观十二年(公元638年)五月壬申(二十五)日(7月11日)卒于长安,享年八十岁。唐太宗十分悲伤,痛哭流涕,说:“虞世南对我忠心一体,拾遗补阙,无日暂忘,实为当代名臣,人伦准的。我有小失必犯颜直谏,而今亡故,朝廷上下,无复人矣!”赐东园秘器,陪葬昭陵,赠礼都尚书,谥文懿。太宗还命画图象挂在宫中凌烟阁。
唐太宗曾称虞世南有五绝:“一曰德行,二曰忠直,三曰博学,四曰文词,五曰书翰。”虞世南的书法代表作是正书碑刻《孔子庙堂碑》,还编了我国第一部完整的类书《北堂书钞》共一百六十卷,摘录了唐初能见到的各种古书。这些古书如今大多失传了,但《北堂书钞》为保存我国古代文化典籍作出了重要贡献。他死后,将慈溪鸣鹤镇故宅改建定水寺,寺内有虞世南画像。他的子孙便迁居长安去了。