霍小玉原來出身於貴族世家，父親是唐玄宗時代的武將霍王爺，母親鄭凈持原是霍王爺府中的一名歌舞姬。因容貌秀美，歌舞動人而被霍王爺收為妾。不料，在鄭凈持身懷六甲的時候，突如其來的“安史之亂”打破了鄭凈持安享霍王爺恩愛的美夢。霍王爺在禦敵時戰死疆場，頃刻之間，霍王府中家人作鳥獸散。鄭凈持帶着尚在襁褓中的霍小玉流落民間，開始了普通平民的生活。
唐代宗大曆元年，霍小玉已經十六歲了，稟承母親的資質，長得容貌秀艷，明麗可人。加上母親的悉心教誨，她不但能歌善舞，而且精通詩文。這時，母親鄭凈持落難時從府中帶出的首飾細軟都變賣殆盡，為了維持母女倆的生計，霍小玉不得不承母親的舊技，做歌舞伎待客。為了女兒的前途，鄭氏對待客的尺度把持甚嚴，僅限於奉歌獻舞，為客人助興消愁，決不出賣身體。這樣竭力保住女兒的貞潔，是為了有朝一日遇到有緣人，能名正言順地為人妻，以獲取終身的幸福。這樣賣藝不賣身的藝伎，娼門中稱為“青倌人”，必須意志堅強的人才能做到。霍小玉雖為“青倌人”，但因才貌俱佳，照樣能吸引一大批清雅風流之客，成為頗有聲譽的紅歌伎。
這時，有個青年男子以詩才名滿京城，他就是李益。此人是隴西人士，大曆四年赴長安參加會試，中進士及第。他在家中排行第十，故人們又稱他李十郎。中進士時，他年方二十，少年壯志，才華橫溢。他所寫的《徵人歌》、《早行將》等詩篇，還被長安無數豪門貴族請畫工繪在屏幃上，視為珍品。
李益生長在蒼涼的隴西，那裡曾是漢唐時的征戰之地，幼年的李益就經常遊覽這些戰爭遺址，憑弔那些曾叱吒疆場的古代英雄，這些生活經歷，激發了李益的詩情豪氣，因此寫下了大量的懷古詩篇。霍小玉讀到這些詩，大為欣賞。而更令她怦然心動的還是李益的那首五言絕句《江南詞》，只用了二十個字，卻將閨中怨婦無可奈何的孤寂心情渲染得淋漓盡致：
嫁得瞿塘賈，朝朝誤妾期；
早知潮有信，嫁給弄潮兒。
多情的女子總是盼望與心上人朝夕相守，真心相依。霍小玉閱歷無數名門公子、風流雅士，卻一直不肯輕易以情相許，就因為要尋覓一個像“弄潮兒”那樣守信的情人。透過這首詩，好彷彿有了一個善解柔情的男子站在詩后，於是在內心深處，牢牢記住了作者李益這個名字。
後來，經過街坊邱十一娘的穿針引線，進士及第后等待季派官職的李益，來到崇德坊的霍小玉家。兩人相見，都對對方十分鐘情。於是落座客廳，煮酒歡談，大有相見恨晚之感。兩人才情相投，意趣相合，竟有說不完的話題。這時正值暮春時節，檻外花落遺芳，窗前鳥鳴道爽，氣候乍暖還寒，令人心曠神怡。談興正濃，直至夜闌人靜，兩人仍未有告別之意。霍母鄭氏在一旁看着這一對情意相投的年輕人，心中漾起喜意，心想：可憐的女兒，總算找到了一個可意的歸宿。霍母殷情地點上兩支紅燭，重洗懷盤，再添酒菜，在燭光搖曳中，李益與霍小玉灑酒為媒，定下終身，並一同對天起誓：“永結同心，忠貞不二，海沽石爛，此情不移！”
從此，李益留住霍小玉家，雙雙對對，同吃同寢，同出同入，儼然是一對新婚伉儷。
時光荏苒，轉眼夏去秋來，李益被朝廷授職鄭縣主薄，主薄是掌管全縣的行政錢糧的官員，是僅次於縣令的父母官。受印后，李益打算先回隴西故鄉祭祖探親，來年春天東行走馬上任。在一切安排停當之後，再派人前來迎接霍小玉到鄭縣完婚。
李益獲得官位，霍小玉半是欣喜，半是擔憂，擔心李郎此去，遠走高飛，再也不會回到她的身邊。見李益把今後的打算說得頭頭是道，霍小玉深想口說無憑，仍疑慮重重。李益索性取過筆墨把婚約寫在一方素綾上：“明春三月，迎取佳人，鄭縣團聚，永不分離。”
霍小玉珍重地收藏起這一份素綾誓約，就像收藏起一份對前途的希望。在落葉透涼的秋夜裡，霍家母女設宴為李益餞行，在酒意微醺中，霍小玉忽然鄭重地對李益說道：“人事變幻，難以把持，雖有海誓山盟，永結同心，但等你官高位顯時，難免不見異思遷，為妾只求你我十年之內傾心相愛，等你三十而立之年，任憑另攀高枝也不算晚，到時妾當剪髮為尼，永絕紅塵！”說完淚水無聲地灑落衣襟。李益為之感傷不已，自然又把誓言重複了一遍。
誰知隨後事態的發展，竟讓霍小玉的擔憂成了現實，李益申言再三的誓言，也被迎面的事實擊得粉碎！
李益回鄉后，功成名就，好生風光。喜不勝收的李家父母忙不迭地替他說下了一門婚事，女方是當地官宦世家盧家的千金。李益聞聽此事，有些為難，硬着頭皮向父母稟告了在長安與霍小玉的關係。李家父母聽了大搖其頭，反對說：“堂堂進士及第，朝廷命官，怎可以娶娼門女子為妻，真是豈有此理！”既然父母堅決反對，加之盧家姑娘秀美知書，一派大家閨秀風範，尤其盧家在朝中有一定的勢力，對李益的仕途進展大有裨益。如此種種理由，使沉浸在喜悅之中的李益把長安的婚約拋到了腦後，順理成章地與盧氏結為夫妻，雙雙前往鄭縣赴任，夫唱婦隨，喜氣洋洋，漸漸把多情的霍小玉淡忘了。
可憐在長安的霍小玉，自李郎離開后，她閉門謝客，痴痴地等待情郎派人來接她到鄭縣團聚。時間一天又一天，一月又一月的過去了，半年約定的時限到了，可絲毫沒有李郎的音訊。霍母盡量寬尉霍小玉，說：“李郎才到異地，公務繁忙，想必得過些時間才能派人來呢！”
霍小玉自己也拚命往好處想，可是，轉眼又是秋涼冬至，整整一年過去了，仍然不見李郎的蹤影。隆冬來臨之前，霍小玉終於憂思成疾，病倒床塌。雖有霍母精心調治，但直到瑞雪紛飛，她的病依然毫無起色，日夜呼喚着李益的名字，聲嘶力竭。精神恍惚，知情人都為她凄然動容。
這時，李益因公進京，有知情的友人告訴了他霍小玉的近況和病情。李益聽了心中一沉，回想起自己曾在京城欠下的一筆情債，他本打算到霍家探望，但又想到自己這種有婦之夫的身份，去了也只能徒增霍小玉的傷悲，因此也就放棄了此願。
然而，關於霍小玉痴情戀李益，李益絕情棄小玉的故事已傳遍了長安城，許多人對李益的薄情憤憤不平。有一天，幾位文友在延喜酒樓設宴招待來京的李益夫婦。酒過三巡，賓客暢談之時，酒樓中忽然闖進了幾位不速之客。以一位身着黃綢寬袍的年輕人為首，後面跟前幾個僕人模樣的彪形大漢，他們直奔李益所在的桌前。年輕人問明了李益的姓名，便不再說什麼，後面的大漢上前架起李益，飛快地挾持着下樓登車而去。
酒樓上剩下李夫人和幾位友人，個個目瞪口呆，半天沒回過神來。
這位黃袍人到底與李益有什麼過節呢？其實，這位年輕人本與李益素不相識，只是聽說李益負心之事，路見不平，拔刀相助，特意到酒樓中把李益挾持到崇德坊的霍家。載李益的車來到霍家門口，黃袍人命僕人上前報稱：“李十郎來也！”待霍母應聲出來開門，這夥人放下李益，轉身絕塵而去。
霍小玉在過前夜迷迷糊糊做了一個夢，夢見一個穿黃衫的大漢搶着李益而來，到霍家房前，脫鞋登堂，夢到這裡她猛然驚醒了。驚醒后的霍小玉感覺頭腦特別清爽，她回想着夢境，占解道：“鞋者，諧也，夫婦和諧之兆；而脫者，解也，離也，與李郎既合又離，乃永絕之徵。”如此一來，她越加愁思如麻，正在這時，李益被黃衫客送到了霍家門前。
那黃衫客是一個十分熱情周到的人，他不但為小玉找回了李益，還命人送來了一桌豐盛的酒席，好讓這對情人把酒重溫舊夢。霍小玉抱病強撐着走出卧室，來到堂前。李益眼看着昔日秀美的情人，今日憔悴到這般模樣，不由得愧悔交加，無地自容。
其實，李益此刻說什麼都是多餘的，既然已做出負心事，是無論如何也掩飾和彌補不了的，此時他內心中強烈的自我譴責就是對他的懲罰。霍小玉端視着這位負心的情人，只覺得愛恨交加，一忽兒面露欣色，一忽兒又搖頭嘆息，那昔日里相愛相伴的場面，像走馬燈一樣，一幕幕地在她腦際中閃過，無限的甜蜜往事，都如同落花流水般一去不回了。
霍小玉踉踉蹌蹌走近李益，欲哭無淚，指着李益忿言道：“我不負君，君竟負我，心已碎，腸已斷，萬念俱灰，你還來做什麼！”說完端起桌上的一杯酒，身體晃了晃，然後下狠心似地閉上了眼睛，手一揚，酒杯和酒都潑灑在地上，意思是：“我倆已是覆水難收！”
表明了心意，霍小玉想轉身回房，可是卻已挪不動腳步，身體朝前傾了傾，猛地放出兩聲悲哭，接着就倒在地上，氣絕魂飄。
李益見狀，不勝悲恐，忙把霍小玉的屍體抱在懷中，痛哭出聲。然而，一切都晚了。
霍小玉的死訊傳出后，長安街頭有人傳出這樣的詩句：
一代名花付落茵，痴心枉自戀詩人；
何如嫁與黃衫客，白馬芳郊共踏春。