當20歲時，他的父親本來想讓他去朝陽大學法律系學習，但承擔了學費，跟著李到處跑。1931年，應李的邀請，李在的陪同下前往山東省武術博物館擔任總師。當時，李的另壹位弟子張在山東黃縣負責維持治安、清除煙毒和土匪。李帶著去參觀。就在這個時候，劉雲樵開始嶄露頭角。他屢次擊敗前來挑戰的幾名武術家，獲得“小霸王”稱號。
李住黃縣時，張曾表演過昆武劍法，請李糾正我，編出昆武劍二路絕招。跟隨張學習武當劍術、清平劍術、昆吾劍術。1931年底，李去世，李讓跟隨張繼續自己的旅行。劉雲樵在張湘武呆了兩年多。期間師從當地著名螳螂拳大師丁子成學習六合螳螂拳。他來拜訪宮寶田的時候，跟宮寶田學了八個月的八卦掌，但並沒有正式跟師傅學。
據的後人說，李在回津途中中毒而死於山東威縣。但事實上，李在天津站李鄂芳家中住了兩年後就去世了。不管怎麽說，死後，回到了自己的家鄉。1936年，他在天津打敗了關東軍劍道老師太田德薩布羅，於是得到了國民黨情報單位的重視，吸收他為情報官，負責暗殺行動。
民國二十六年(1937)，劉雲樵進入陜西鳳翔黃埔軍校第七分校(第十五期)，正式參軍報國。28年(1939)正式畢業。在等待分配期間，他因打獵和誤傷軍校校長而被捕入獄。被西北總將領胡宗南審問，劉雲樵回答說:“國家危難之時，願意上前線，光榮戰死沙場。”他受到了他的獎勵，所以他無罪。他被授予少尉軍銜，去太行山與日軍作戰。多次負傷，因工作原因被提升為連、營、團團長。
民國二十九年(1940)負傷被俘，關押在山西運城戰俘營。劉雲樵憑借他的智慧和武功，從缺口逃脫，遊過黃河，逃回後方。因此，他生了重病，在Xi安休養。之後加入情報單位，多次深入敵後暗殺。有傳言說他就是傳說中的“田字第壹”、“長江第壹”，但沒有得到劉雲樵的證實。
民國38年(1949)隨國民黨政府退守臺灣省，曾在人事部、聯勤總部等部門工作。
服役期滿後，劉雲樵從校級以上部隊退伍，在臺北市靜美的家裏住了兩三年。民國56年(1967)，總統府警衛室準備改組。經其軍校同學孔令生將軍推薦，蔣介石召見，在總統府侍衛室任安全顧問，教授侍衛八極拳。之後在蔣經國舉辦的“聯合指拳教師培訓班”擔任教練，培訓了4名學員，其中包括組建蔣經國總統衛隊七海護衛隊。
致力於讓國人認識正統武術，倡導傳統武術的傳承，弘揚中國文化固有的國粹，提升中國武術的民族精神，受邀參加1968在馬來西亞舉辦的“中國武術表演大會”，後在臺灣省創辦武術擂臺，弘揚八極拳，出版《武術雜誌》。
1992於1月24日在臺灣省逝世，享年84歲。