匡山古时与庐山并称为“匡庐”，素有“南庐北匡”、“匡庐奇秀甲天下”之美誉。

　　位于匡山腹地的太平桥村有个西来古寺，建于隋末唐初，里面供奉一只神猴，比吴承恩的《西游记》早多年。相传隋朝以前，这里山高谷深，野兽出没，伤人害畜，损坏庄稼，百姓苦不堪言。有一年，一只神猴出世，专门为百姓驱赶野兽，保护安宁。人们为纪念神猴的功德，建起西来古寺——“神猴庙”。寺的东北面有个“仙人洞”，传说菩提老祖在此打坐修炼。寺的西南面有个桃树岭，传说神猴在此栽种桃树，正是《西游记》中王母娘娘的蟠桃园原型地。

　　匡山顶峰一尖山之下的五峰山脉形如五个手指，吴承恩巧妙的演化为如来佛祖镇压孙悟空的“五行山”。五峰山顶有隋唐时期的五峰禅林、头陀寺，古代寺中的赵老大(寺庙看护)与《西游记》中舍卫国里的赵长者完全一致。山下有个藏秘洞，洞内正上方石头还刻有“洞天福地”四个大字，与《西游记》里花果山水帘洞所描写的一一对应。

　　匡山为吴承恩晚年生活工作之地，吴承恩因一宗冤案获罪，出狱后赴蕲州任“荆府纪善”(行“讲授”之责)，实质是个闲职。匡山当时在蕲州府治下，与荆王府又相距甚近，主峰一尖山有南朝文学家鲍照留下的读书台，吴承恩与鲍照又是同乡，且对鲍照十分敬仰，自然要到读书台领略风光，凭吊古人，这为他创作《西游记》提供了大量的素材。

　　在唐代，广济县号称“广济佛国”，天下佛学大师云集匡山。东晋太元年间，佛教领袖慧远在匡山建立黄牙寺，是中国最早的寺庙园林，司马道信出生在匡山脚下的梅川镇，在匡山幽居寺弘扬佛法40年。唐代真武祖师在横岗山开创道教万法教派。贞观年间蒋祖自泰国(暹罗)来建大藏寺居修。泰国太子、广济存奘禅师等也来到这里修行。到宋代，匡山有寺庙多达座，天下佛教信徒云集在这里，常住有多人，被朝廷封为“天下祖庭”。

　　史料记载，吴承恩从未去过西域国度。他要在这部历史巨著中体现宏大的佛教寺庙景观，必定要以现实场景为依托。正是广济深厚的佛教文化、匡山繁盛的庙宇原型和各种神奇的民间传说，激发了吴承恩的创作灵感，最终形成了这部旷世杰作——《西游记》。