他與辯機交誼最深；昭蘇好琴，蘇軾有詩 "散我齟齬氣，洗我和衷腸"；為慧覺題《綠牡丹軒》：可使無肉不食，無竹不居。無肉使人瘦，無竹使人俗。瘦人尚可肥，施俗不可醫。人笑此言，似高似愚。此君尚且咀嚼，天下何處有揚州鶴？
蘇軾的黨外朋友，徹底擺脫了塵外濁障，純情可喜，為他洗塵。
蘇軾與廖森相識，是徐州黃樓建成後，秦觀帶廖森來拜訪的。他自幼出家，詩文俱佳。蘇軾十分欣賞，尤其是 "禪心已作粘泥絮，不逐春風上下狂"。兩人經常在壹起交流詩詞，蘇軾將詩詞內容與禪意結合起來。蘇軾仰慕廖仲愷的高風亮節，以與他為友為榮。他還將自己的名字從 "端謙 "改為 "道謙"。
後來，廖仲愷到黃州看望被貶的蘇軾。兩人相談甚歡，其樂融融。他的詩句 "林間似聞機杼聲，知是翠微有人家 "傳到了京都。
廖琛在黃州住了壹年，直到蘇軾要遷居汝州，他們才壹起離開，同遊廬山，同題《題西林壁》。蘇軾能離開 "身在廬山 "的位置去看廬山，想必與當時參寥之遊不無關系。
後來，蘇軾被貶惠州，參寥送藥藥信。蘇軾被貶海南，參寥還想帶弟子去看他，被蘇軾勸阻了。其實，參寥是不能來的，因為他們關系密切，參寥受到牽連，說他現在叫 "陶潛"，與文牒上原來的名字 "端潛 "不符。官府勒令他還俗。
李壹冰先生說，在眾多黨外朋友中，廖森與蘇軾 "了解最深"，他多次出現在蘇軾的詩文中。八聲甘州》，是蘇軾第二次離開杭州向參寥子的訣別之作：
有情風裏卷潮來，送潮歸去無情。問錢塘江上，西興浦口，幾度斜陽？不必思今昔，看淡往事非。誰似東坡老，白首而忘機。
記得西湖西畔，是益州暮山，空翠淡煙。佇立西湖邊，恍若隔世。"
"憶西湖之西，是暮山之利，空翠淡煙。約他年東歸海，祝謝公，雅誌不相違。西州路，不應回首，為我沾衣。