早些年，閩城在一次地震過後，人們發現風景勝地八寶山的碑林皆倒塌，風景降為劣等，也就少有人到八寶山攬景了。本地有個姓鄒的漁夫，一天繞道經過八寶山下的一口墨潭，無意中見到墨潭深處隱隱現出微亮的光芒來，循着光亮處，他一個猛子紮下去，待上岸，才發現捉在手中的乃是一枚黑不溜秋的蚌，他敲開蚌殼，蚌內育有兩顆大拇指粗的珍珠。
鄒漁夫把珍珠拿到城南門的“容寶齋”去。容掌柜草草看了珠子，並不認為珠子寶貴，只以比普通價略高一籌的價格商議。鄒漁夫不識貨，拿過銀子，開心而去。
珠子並不大，表面不像別的珍珠一樣晶亮，相反像是塗上一層乳黃。這正是珠子的不尋常所在，自古有移墨珠一說，容掌柜在心下早早地給此珠下了定義。
牆頭上掛有一幅人稱閩城畫聖阮鬼夫的畫作，畫中荷花嬌艷，荷上方有隻黃翅蜻蜓。容掌柜閉眼顫抖地把其中的一顆珠子移向蜻蜓，他希望等他睜開眼后，蜻蜓消失無蹤。待容掌柜移開珠子，蜻蜓卻依舊繪在粉荷上方，並不曾有被珠子移去的跡象。容掌柜失望至極，空歡喜了一場，人一下子頹廢了下來。
門童來報，府官汪澤前來拜訪，汪澤是河南人，他的母親柳氏生於閩城，柳氏過世，謹遵她的遺願，落葬處選在桑梓地。汪澤剛好在同一時間接到就任閩城知府一職的委任狀，於是護柩上任。
汪澤怎麼也去訪容掌柜？亂世黃金，盛世收藏。汪澤愛好奇珍亦久矣，上任沒多久，特尋上容寶齋切磋技藝，一來二往，與容掌柜倒有了交情。
七日前汪澤曾拿一盞雕龍紋鳳的玉香籠，龍鬚和鳳尾末端皆有殘損，交於容掌柜進行修補。玉香籠已修補好，容掌柜親手把玉香籠交還給了汪澤。
汪澤擺手道：“玉香籠一事可暫且擱下，汪某連日來官務纏身，今日只是想來透透氣。”既如此，容掌柜看好茶后，順口問汪澤何事揪心，讓他不得空閑？汪澤愁眉道，“說了也無妨，有件案子出得奇怪，掌柜的應該還記得阮鬼夫吧，他已被人殺害，拋屍於五嶺岐。”這麼大的一件事，容掌柜竟聞所未聞，“汪大人，這不失是個商機！”汪澤明白，阮鬼夫一死，其生前遺畫作價亦可水漲船高。
二人為此感嘆一番，聊到激動處，容掌柜一甩袖子，竟然從袖中把二顆珠子抖了出來。容掌柜忘了他把珠子藏於袖中，弄得實在是尷尬。汪澤眼尖，伸手從地上撿起珠子來。容掌柜說是個漁夫賣的，只是二顆平凡的珠子罷了。聽容掌柜如此說，汪澤反客為主，“既然容掌柜看不上這二顆凡珠，那汪某拿玉香籠交換此珠，還請掌柜成全！”容掌柜又瞧了一眼玉香籠，“汪大人抬愛那二顆珠子，老朽也只好收下玉香籠了。”汪大人很滿意，容掌柜也自覺不吃虧。
汪澤揣着二顆珠子回到汪宅，迫不及待地進入到書房。汪澤的書房內壁同樣也有一幅阮鬼夫的畫作，此幅題為《煙波三月》，取江上一舟，一老翁舟上閑釣，岸邊楊柳拂橋。汪澤挑出一顆珠子來，向畫上老翁移去，珠子拿開，老翁痕迹已然消失，舟上一片空白。汪澤大喜，這時，又屏息靜氣再拿出另一顆珠子，往原本老翁所立的舟上移去，瞬間，老翁又回歸畫上。“妙哉，妙哉！”果真是移墨珠不假。
同樣的珠子在容掌柜的手上為什麼不靈驗？容掌柜百密一疏，沒有認出二顆珠子乃有雌雄之分，雄珠體形比雌珠略大一點。雄珠可移去墨跡，雌珠可恢復墨跡。容掌柜拿雌珠去移墨，當然是行不通，所以他錯誤認定這二顆珠子只是凡珠。
一段時間后，汪澤終於把阮鬼夫的案件肅清了。兇手竟是一個寡婦，姓蕭，名媚娘，蕭媚娘的夫家姓陳，名旺才，是個鏢局小頭目，只因過山西峒洞時，碰上一夥山盜劫鏢，山盜使了陰招，陳旺才被石灰粉燒瞎了雙眼，鏢物失竊，回到閩城，瞎眼的陳旺才鬱鬱而終，留下蕭媚娘一人在陳家，並未留有子嗣。自從夫亡后，蕭媚娘經常上香積寺燒香，因為阮鬼夫是香積寺的常客，二人在半山腰相遇了幾次后，阮鬼夫作下一幅“媚娘上香圖”，悄悄捎給蕭媚娘。蕭媚娘枯木逢春，二人私下交往，阮鬼夫人稱畫聖，實懷鬼才，畫走異端，他愛上蕭媚娘后，貪念蕭媚娘的美色，竟私下為蕭媚娘畫了一幅“蕭媚娘玉體圖”。不料一日晚間，他攜此畫軸來到城中“月來香”酒家飲酒，喝過了頭，趴在酒家醉睡了一宿，等酒醒，才發現懷中畫軸並不在身，驚出一身冷汗。陰差陽錯，那畫軸被無賴周皮給扒去了，周皮搞惡作劇，把“蕭媚娘玉體圖”懸挂於閩城城門院牆，引得過路百姓爭相競看，大都認得那就是寡婦蕭媚娘。蕭媚娘懷恨在心，認定是阮鬼夫背信棄義，做下這傷天害理之事，於是假意邀約他於一晚間同上香積寺，然後一杯毒酒謀殺了阮鬼夫，拋屍於五嶺岐。
不久，汪澤上調至朝中當官去了，他官緣不錯，也漸漸坐穩京官的位子。
秋初的一天，皇帝親率朝中百官，同到百草山狩獵。
百草山方圓幾百里，芳草萋萋，林木叢叢，間或有奇形怪狀的頑石。百草山自從被圈定為皇家狩獵地以來，民間狩獵者是不能私下進山狩獵的，目的是養肥百草山的野獸。此次皇帝興緻頗高，把列位京官按文武官各五員為一組，略分了幾組后，定下狩獵物多者為勝，一來可鍛煉身手，二來可領到獎賞。各組都摩拳擦掌，帶好弓箭長矛，按分佈好的各個方位捕獵去了。
皇帝只帶上李宦官，算為一組，跨在馬上，神采飛揚，往北面山坡而去。沒行幾步，便見前方百步處有塊頑石，邊上卧只梅花鹿，皇帝喜上眉梢，一支穿心箭離弦而去，準確地射中梅花鹿，李宦官策馬向前，下得馬來，正準備把中箭的梅花鹿扛上馬，卻驚異發現皇帝射中的梅花鹿只是一隻被畫於頑石上的假鹿！
假鹿到底是何人所畫，這不是戲耍皇上嗎？皇帝近得前來，果真見石上描摩的卧鹿形體逼真無二。不一會兒，眾文武官員也相聚齊來，都道他們在這百草山上發現了許多假虎假羊假豬，還有野兔錦雞什麼的，無一不是畫在頑石上的，足以以假亂真。這時，遠遠一匹馬跑過來，原來一名武官擒着個人，待來到眾人處，把那人放下馬來，卻是一個面白無須的書生。
武官報說：“頑石上諸獸皆是此人所繪，正巧被我瞧見，逮了個正着，請皇上發落。”
書生呀呀比劃着，竟然是個啞巴。是啞巴，難以溝通，見他有幾分才學，皇帝揮揮手說放了啞巴書生。
汪澤當時一愣，這啞巴書生不就是阮鬼夫嗎？他緣何沒死，竟跑到京城來？不過汪澤沒有當面揭穿。
從百草山回來后，汪澤秘密派上心腹，再次前往百草山，把啞巴書生劫回汪府。
“沒猜錯的話，先生應該是畫聖阮鬼夫吧！”汪澤親自為啞巴書生沏了一杯茶。
“哈哈，可笑可笑，阮鬼夫早已被毒殺於五嶺岐，汪大人不是結案了嗎？”啞巴書生開口反問道。
既然啞巴開口說話，汪澤確信此人正是阮鬼夫。
原來，自從蕭媚娘裸畫曝光后，阮鬼夫自知無臉見蕭媚娘，遂躲藏了起來。卻有那好色男子，見了蕭媚娘的裸畫后，神魂顛倒，偶然聽到阮鬼夫自言自語，話中表明是蕭媚娘約阮鬼夫相會，而阮鬼夫無顏去赴約后，遂叫人依阮鬼夫的相貌做了張人皮，扮阮鬼夫劫色去矣，不想卻做了蕭媚娘毒酒下的冤魂。阮鬼夫聽聞后，不聲不響地離開了閩城，想讓世人當作阮鬼夫已死。他輾轉來到京城，可他不能在紙上作畫了，不禁手癢，就來到京郊百草山，在頑石上畫下了無數逼真的獸。
阮鬼夫交了底，汪澤一掃前嫌，把阮鬼夫收留在汪府，二人成為知交。閑下里汪澤向阮鬼夫學習畫技。
是年九月，皇帝最寵愛的女兒令貞，去了一趟西域陀佛山，不料迷上了陀佛山上遍植的千葉花，途中偷偷移植了一株，哪知與千葉花太過親近，被千葉花芯上的墨色香粉彌上雙頰，洗也洗不掉，原本靚麗白皙的臉頰竟然染上了黑點，像是胎記，愛美的令貞哪受得了這一變故，一哭二鬧三上吊，皇帝火速懸賞神醫，可就是去不了臉頰上的黑點。
汪澤就在這個緊要關頭，自薦去了皇宮。他不是神醫，但他可以略試一下，汪澤斗膽的資本便是袖中那粒移墨珠。
汪澤拿出雄珠子，在令貞的臉頰上轉了轉，待把珠子拿開，臉頰上的黑點神秘消失。令貞喜出望外，想不到一眨眼的工夫便又恢復以前的容貌，得力於汪澤手中的珠子。見小小的珠子如此神奇，便要拿移墨珠把玩。
這令貞，實在是刁蠻成性，汪澤搖頭嘆氣，故意把雌珠子給了令貞，令貞拿起珠子這兒碰碰，那兒碰碰，最後又把珠子拿到臉頰，當她把珠子拿開后，宮女發現令貞的臉頰上黑點又出現了。
令貞嚇得只得把珠子又還給汪澤，求汪澤再行醫治。汪澤假裝很生氣，有一條件，要令貞改掉刁蠻習性，不然，即使此次治好了癥狀，下次仍能複發。沒辦法，令貞只好發誓改掉刁蠻的毛病，汪澤才才拿出雄珠。
此後，汪澤名聲大噪，盛名之下，汪澤不得已向皇帝進獻移墨珠一顆，自己懷揣的則只是一顆雌珠了，沒有雄珠移墨，雌珠並沒有多大用處。只是汪澤漸把收藏奇珍的興趣轉移到了與阮鬼夫學畫上。久而久之，汪澤的畫技竟不在阮鬼夫之下，汪澤的畫流傳到閩城，容掌柜手握一卷汪澤畫作，詳細揣看，百思不得其解，落下一句：“莫非阮鬼夫把魂靈移附在汪大人身上了？”