村民們後來稱它為“童軍老人”。後人尊稱其為“中醫鼻祖”，稱其為藥祖聖地。這座山也被命名為“童軍”，這個縣被稱為“桐廬縣”。
童軍知草木石之性味，定三味藥，撰《童軍集藥錄》，其方藥為君、臣、佐、使所規範，沿用至今，是我國中醫鼻祖。童軍是我國最早有文化記載的醫學家之壹，在藥理學方面有著豐富的研究。《舊唐書》、《本草綱目》、《本草綱目》、《中國人名詞典》均有記載，黃帝時人，深知植物和石頭的性味，確定君(主藥)、臣(輔藥)、左(輔藥)、石(引子藥)三種藥。童君鼎的藥方規定了君、臣、佐、使，沿用了幾千年。
據考證，童軍確有其人，生於四千多年前的黃帝時代，著有《童軍本草集》。他是中國醫學史上卓有成效的中醫學家。
童軍山修建的很早。宋景佑元年(10=34)，名臣範仲淹在桐廬上任，寫下“鐘響三塔，潮平七灘”的詩句。三山寶塔是童軍上的童軍塔、川地山上的童淵塔和安樂山上的安樂塔。童軍鐵塔是縣城的象征。元豐年間(1078-1085)，在山頂建廟，供奉醫學始祖童軍。