他出身於東晉大士族，因他襲封康樂公的爵位，世人稱他“謝康樂”。他身為公侯，卻並無實權，被派往永嘉任太守。謝靈運自嘆懷才不遇，常常丟下公務不管，卻去遊山玩水。後來，他辭官移居會稽，常常與友人酗酒作樂。當地太守派人勸他節制一些，卻被他怒斥了一頓。可是，謝靈運寫的山水詩，卻深受人們的喜愛。他每寫出一首新詩，立刻就會被人爭相抄錄，很快流傳開去。

　　宋文帝接位后，將他召回京城做官，把他的詩作和書法贊為“兩寶”。謝靈運更加驕傲了，他說：“天下才有一石，曹子建獨佔八斗，我得一斗，天下共分一斗。”

　　成語“才高八斗”由此而來，形容人的文才極高。