一點看，漢宣帝確實做了些功績，但自滿的臣子們陷入一種極端奢侈的生活狀態。王侯妻妾成群，少則數十人，多者數百人，高官富戶都有自己的“三宮六院”，不僅如此，幾乎所有的官員都做買賣，卻都不繳納賦稅。這種狀態長此以往，將威脅到漢朝的統治。王吉又站出來了，他勸漢宣帝要潔身自愛，更要及時遏制這種風氣。此時的漢宣帝好像變了個人，對王吉的諫言不僅反應冷淡，還認為他“其言迂闊”。

在此期間，民間還有個傳說，前面我們提到王吉在昌邑時遇到位老者贈他三個字“言宜慢”，十年后他以高官身份回老家省親時，路上又遇到這位老者贈與他三個字“心宜善”。為何會是這三個字呢?民間是這樣說的：當大官后雖然王吉也能勤政為民，但偶爾也會動點私心，比如說長史趙珞，就因為與王吉政見不合，被王吉彈劾，最后被罷官歸鄉。此后，王吉嚴格按照“言宜慢，心宜善”要求自己，成為西漢一代名臣。

好了，民間傳說姑且說到這里，接著說王吉。他幾次上疏力諫，都沒有改變漢宣帝的想法，懷才不遇的他無法在帝王家施展抱負，只能告老還鄉。此后的十余年間，在家鄉傳授儒學，求學者絡繹不絕。王吉在民間的影響力越來越大，但他似乎還在等待著什么。

公元前49年，漢元帝即位，這位推崇儒學的統治者剛即位就派人到皋虞請王吉回朝。接到朝廷的任命時，另一個地方有位叫貢禹的人也拿出官帽，撣掉上面的灰塵，家人問他要干什么，貢禹回答：“王陽(王吉)要去做官了，我也準備準備同去。”這就是“王陽在位，貢公彈冠”的來歷，說明好朋友要進退相隨。可惜的是，王吉因病死在了上任的路上，貢禹趕到朝廷做了大官，也算是幫他圓了夢吧。

這便是王吉的故事。他的思想直接影響著他的兒子、孫子還有王氏家族的后代們，指引他們做出更大的成就。