愛上曼的時候，楊還是一個小男孩子。每天放學，他坐在傳達室里等候父親下班，這時，他常常會看到曼穿一身潔白的衣裙從門口走過，她美得像天仙。有時，她會走到傳達室取信，那嫣然一笑常常令楊忘記了周圍的一切。楊就是在這個時候發誓要學聲樂的，因為他聽說曼在音樂學院讀書。那時，曼的父親是這個大院里的學術權威，而楊的父親只是這個院里的傳達。
10年後，楊真的考上了音樂學院，那時候曼已是這個學院的老師，然而她的境況卻很不好。她那威嚴的父親此時在牛棚里，而她那英俊的丈夫卻正和她鬧離婚。她一個人帶着兩個女兒住在學院的一間小屋裡，孤獨、傷感、寂寂無聲。
然而在楊眼中她依然那麼美麗，她修長的雙手在鋼琴上翻飛的時候，楊便常常忘了發聲。他久久地久久地凝視着她，關注着她的悲哀和傷感，痛恨着那個傷害她的男人。有一天，楊在學院的路上看到曼的丈夫攬着一個女學生走過，他忍不住上前向那張英俊的面孔狠狠地揮了一拳。
曼終於下定決心離了婚。曼離婚的那一天楊便決心要照顧她們母女三人一輩子。曼起初十分抗拒楊，因為她已經對男人失望。然而楊的執著卻令她感動，楊為讓她吃上一口肉半夜3時去排隊，楊為了讓她在冬天有熱水溫手練琴而每半個小時去一次水房。終於有一天當曼的小女兒夜半發高燒被楊抱着送進醫院裡，曼撲在楊的懷中失聲痛哭。
最先在學校引起軒然大波的是楊的母親，她聽說兒子迷上了一個大他15歲的離婚女人，感到受了奇恥大辱。她衝進學院，先把曼堵在琴房罵了一通，再衝進校長室告狀，認定這個右派的女兒勾引了她純潔的兒子。楊母的吵鬧使曼把自己關在房裡三天不敢出門。
楊與家庭決裂，搬到了曼的小屋，卻遭到了曼的兩個女兒的堅決抵制。特別是大女兒已經10歲了，懂得許多人情世故，只要楊一回來，她就憤怒地叫：“流氓、流氓，滾出去!”
曼在學院無法呆下去，一個女老師，勾引男學生會被當作醜聞，那個年代足以致人以死地。曼帶着兩個女兒離開了那座生她養她的都市，調到了一個邊遠的小城，在一個音樂師專當教師。
楊尾隨而來，在曼的附近租了一間小屋住下，他因為不上課而被學院開除。楊的母親追蹤而至，她甚至跪在楊的面前讓楊跟她回去，楊不從，於是她又找到曼工作的學校。學校領導一次次找曼談話，此時，曼的母親來了，她帶來了曼的父親去世的消息。母親對曼說，如果她再與楊好下去的話，全家都將以她為恥。
曼終於決定與楊分手，然而楊卻在小城找了一份工作以示他要與曼結合的決心。這時候楊已經26歲，完全到了可以結婚的年紀。他向曼求婚，然而曼的母親和女兒卻表明，如果曼與楊結婚，她們將永不見她，無可奈何之中，曼接受了母親的穿針引線，見了一個50歲的離婚幹部老何。三個月後，她悄悄地和老何領了結婚證，一聲不響地調到了老何工作的小城，到一所小學教音樂。
曼的不辭而別令楊瘋狂，他吞下大把安眠藥，卻被母親送進醫院救了回來。他不知怎麼打聽到曼工作的單位，曼卻無論如何不肯再見他。終於有一天，楊喝得大醉衝進曼的學校，老何帶着公安人員趕來，把他關進了派出所。
兩個星期後，楊跟着母親回到了他最初結識曼的城市，在一間小工廠當了木工，把所有的工資都用來買酒。曾經幫助他考上音樂學院的歌喉在酒精的浸泡下暗啞無聲。他不再唱歌，連話也不想說。
楊的母親夜夜流淚，她為兒子介紹了一個又一個女朋友，她流着淚一次又一次對兒子說：“我是為了你一生的幸福着想啊，有哪個母親不是為了兒子好呢 ”
楊是在36歲那年才和一個沒有戶口的環衛女工結婚的，結婚後卻一直不肯要孩子。楊妻在楊母面前哭訴，楊母只要一開口勸楊，楊就說：“你還要我怎麼樣，我已經為你們犧牲了我自己，我不能再搭上個孩子。”
楊常常在深夜喝得大醉，模模糊糊地問自己，“為什麼我不可以選擇自己的幸福 ”