自古而今，無數喜林泉者、愛奇石者、樂山水者、修心性者、求神佛者，皆慕名而至，他們之中有唐朝的呂巖、懷素，宋朝的周敦頤、楊萬裏、韓世忠、張叔夜、朱熹、周端禮，明朝的周尚德、丁璣、周鵲建、周蔔澗、周邦俊，清朝的沈葆楨、毛羽儀等等，這些人的來到加重了西巖的份量，加深了西巖的的文化底蘊，使西巖呈放出道教、佛教、儒家三種文化交相輝映的文化異彩。
在廣豐，關於呂洞賓的傳說不少，西山觀（今廣豐中學裏）有呂仙亭，白鶴畈的來由也與呂洞賓有關，天桂巖更是呂洞賓修煉的地方，天桂巖巖壁上有壹斷腿石鹿據說還是呂洞賓的坐騎呢，只因它偷吃莊稼被呂仙斬斷壹腿化成巖石永守洞口。這些只是傳說，不信也罷，但真正的呂巖（號洞賓，唐鹹通年間進士），在任九江縣令時，的確到過廣豐，並在天桂巖裏隱居（或曰修煉）了九年，有其詩《題天桂巖》為證：
春暖群花半開，逍遙石上徘徊。獨攜玉律丹訣，閑踏青沙碧苔。古洞眠來九載，流霞飲幾千杯。逢人莫說他事，笑指白雲去來。此詩被民國年間任德安縣長的排山人周映天題刻於洞口巖壁上，周映天同時還題刻了“頂天立地”四個大字於洞口。 據說唐代大書法家懷素也到過天桂巖並留有墨寶，懷素到天桂巖時曾題匾“兜率宮”（狂草）三個大字，此匾曾存於西巖寺，文革後失落。
宋以後，天桂巖名氣漸大。北宋初，有僧人到西巖開山建寺，於巖前建壹寺名西巖上寺，後更名為西巖寺，於山麓建壹寺與上寺相望，名西巖下寺。這西巖二寺與兩個歷史人物有關，壹個是周敦頤，壹個是韓世忠。我無法考證《愛蓮說》的作者周敦頤是否真的到過天桂巖，但西巖上寺正廳石柱上周敦頤所作的壹幅對聯所描景物又似乎就是指天桂巖，此聯是：巖畔木樨香，個中人來自領悟；峰前梅子熟，門外漢何處探尋。此聯不但有景有物，還極富佛法、禪機和哲理，深得後人喜歡。韓世忠跟西巖下寺有關，南宋建炎三年（ 1129）年，左右都督苗傅和劉正彥造反敗落，經江山和廣豐逃往福建， 1130年，抗金名將韓世忠攜夫人巾幗英雄梁紅玉奉宋高宗之命入閩征討，抵排山時，他們登上了天桂巖，面對大好風光，將軍詩興大發，當場得壹對子：院號廣福，據稱洞賓於此度世；洞稱仙宮，傳聞鐵拐在者升天。是夜宿西巖下寺，將軍祈佛：奉命而討叛臣，提兵而出，振旅而歸，惟神其點助之，何敢忘？（明《永豐縣誌》有載）平叛之後，將軍還朝，奏請高宗說平叛成功因有西巖寺神佛相助，當還願。高宗即賜“廣福羅漢院”匾額（此額至今仍嵌於寺門之上），並賜主持僧義通“紫衣法師”稱號。宋朝還有兩個歷史名人到過天桂巖，壹個是楊萬裏，另壹個就是朱熹。從楊萬裏在廣豐的遊蹤看，他呆在廣豐的時間應該較長，他曾夜宿靈鷲寺、在玉田觀過白鷺、到石磨嶺看過梯田並留有詩章。他不但進了天桂巖巖洞，還留下了這麽壹幅對子：遊福地，入洞天，任許飛瓊邀月；訪仙蹤，換俗骨，當思滌慮洗心。朱熹到廣豐來，我估計跟辛棄疾、施師點或者周端禮有關，此三人與朱熹基本上生活在同壹時代，當時稼軒退居上饒並在廣豐博山寺建有書院，與朱熹來往甚密，施師點雖官至當朝宰相，可也是文人出身，清正廉潔，曾與稼軒同朝為臣，想必跟大學問家朱熹也熟悉交好，師點是廣豐吳村人，吳村就在排山邊上，周端禮稍小於朱公，當時也供職於樞密院，曾奉命出使金國，不辱使命，後得重用，這個周端禮是廣豐排山人，估計他也與朱熹交好。也就是說，朱熹極有可能是因此三人而到廣豐並遊天桂巖的。當然，這些都是我個人據史推測，天知道歷史的真相如何，但不管怎樣，朱熹到過天桂巖定然沒錯，這不，還留下了證據——壹是他為排山“奎閣樓”題寫的樓聯：桂樹高懸天上月，梅花獨占嶺頭春。二是在登天桂時在半山腰路亭上歇腳時的感嘆：到此須求進步，從此莫誤前程。後來有好事者把它作為柱聯刻於半山亭的亭柱上以警示後人。而抗金名將張叔夜和周端禮是廣豐人，到過天桂巖就不足為奇了，張叔夜還為天桂巖題刻了八個大字——江山不老，仙境長春。西巖寺的管事說宋代大書法家米芾也到過天桂巖，對此我無從考證，但西巖寺裏確實存有壹首米芾的詩——《古剎鐘聲》：古剎高聳接雲樓，撞月鐘聲吼鐵牛。壹百八聲懼聽徹，夜行還向不知休。
明清時期，遊西巖的文人墨客更多。廣信府通叛丁璣到廣豐遊玩加視察民情時賦詩壹首《永豐山行》：今日春山裏，山光飛滿衣。無梅不索笑，有鳥只催歸。風月情懷在，乾坤事業非。荒涼三徑遠，何處送斜暉？這位作官的老爺不僅是位詩人，還是個書法家，他那日來到天桂巖前，見山巖居然無人題名，心中甚喜，手中癢癢，於是大筆壹揮，“天桂巖”三個大字倒也是筆力蒼勁，氣勢非凡。地方官員士紳馬上請來工匠，攜刻在洞口石壁上，也就是我們今天所見到的巖名了。丁璣老爺他作官，自然有人捧場，可是更多的人卻是自娛自樂，妳看那位叫周尚德的，也不知道他是哪裏人幹什麽的，他來了，將自己寫的詩《題天桂巖》刻於巖壁之上，後人來遊，壹定要讀：天地同開辟，崆峒不記年。近雖遺象教，古亦聚神仙。勝境畏磨滅，靈山欲久傳。聊鐫待高士，繼我鑿長篇。刻完之後，周公似乎興猶未盡，又在巖壁上刻下“江東第壹洞天”六個大字，方才仰天長笑而去。周尚德走了之後，夏尚樸、周邦俊、沈葆楨等騷客又來了，這裏摘錄部分他們在天桂巖遊玩時即興留下的詩章——《題天桂巖》（明周鵲建） 前為若所徑，後為若所尋。仙蹤無從覓，尚余怪仙景。《西巖寺》（明周蔔澗） 野寺無人到，終朝靜掩關。數聲鐘磬定，人送老僧還。《西巖即事》（明周邦俊） 巖名天桂景非常，撫卷沈吟字有香。檻外花開催筆陣，池邊鳥語和文章。煙橫翠巒凝螺黛，月漾清溪湧寶光。個裏悠然詩思遠，仙心雲際鶴高翔。洞天皎潔異尋常，滴瀝仙泉漱玉香。清澈能教花四照，崆峒倒懸樹千章。新烹鏡洗江心凈，活火波翻蟹眼光。七碗風情應示遠，煙青乳鶻競飛翔。