话说这渔人出了桃花源，沿溪而下的时候，脑袋里就盘算着：我既然寻得了这一群深山之人，又是秦朝之后，如果禀报给太守，太守念我忠于晋朝定会给我不少的赏银。主意已定，渔人在沿途的桃花林中做了些许标记，又留心了四处的景致，心中更是得意，仿佛那白花花的银子已经到手。可他不知道，在暗处，有一个人惊出了一身冷汗：村中智者之言果不其然，此人贪得无厌，在受了村中人热情款待后既然还妄图利用他们讨得赏银，幸好自己被派出暗中跟踪，不然村中的事可就要泄露了。刚想上前将那奸人一举拿下，这人心中陡然一转，何不让他去禀报，再来个自食恶果。这位智勇双全的村中汉子，用草叶将渔人所作的标记如数遮掩，不留丝毫痕迹，然后又不动声色的跟在渔人身后。身上的衣服是村中的巧妇仿着渔人的衣服制的，应该不会有什么问题。此人便跟随渔人来到一座府邸前，见渔人进去后不久，便有一大队人马跟随渔人来到那条溪边。但渔人无论如何都找不到明明标识的很清楚的标记，不知该带领他们往何处去了。太守手下的士兵一看渔人根本找不到桃花源的方位，以为他在欺骗太守，便把他暴打一顿，拿走了渔人从太守那得到的赏银，愤愤的走了。跟随而至的村中汉子看到眼前的一幕，心中大喜，连忙撑船回到了桃花源。
村中闻此人归来，群聚，听此人将事情经过娓娓道来。心中大惊后分外叹惜，自此识外界之人心机深重，故下定决心，堵塞了与外界的唯一通道。希望这之后再没有外界之人来此打扰。
但南阳人刘子骥自持品德高尚，愿往之，与桃花源中的人共享平静的生活，谁知还没启程就病逝于榻中。迷信之人便传言，那传说中的桃花源会诅咒想要前往的人。自那之后，再无人妄图寻得这仙境般的世外桃源，故世外桃源之地倒也得了清净，又是一代一代自给自足的生活下去了。