第壹，它的名字來源於佛教經典。據《佛教文化概論》記載，佛教創始人釋迦牟尼出生在迦毗羅衛國的都城，附近有座山叫香山。釋迦牟尼在世的時候，他的壹些弟子就去香山修行，後來很多佛教徒還在香山修行。
二是以最高峰命名的鐘乳石，形似香爐，稱為香爐山，簡稱香山。
三是自古名為香山的杏花。花開的時候，它的香味讓這座山成為名副其實的“香山”。