平頂山市的歷史可追溯到五、六千年以前。商周時代，這裏屬應國。
北魏孝文帝太和元年（477年）置高陽縣。
隋朝時，分屬襄城郡和潁川郡。
唐代先後分屬汝州、許州、襄城郡。宋元起至明清，平頂山境域分屬汝州、許州和裕州。
民國初年屬河洛道、汝陽道，後分屬豫南道、豫東道、豫西道。
新中國成立後，平頂山分屬洛陽專區、許昌專區。1954年成立平頂山煤礦籌備處，1956年1月，成立中***平頂山礦區委員會，1956年3月，成立許昌專員公署平頂山辦事處，下轄東高皇、大營、西高皇、井營四個鄉。1957年3月，經國務院批準，設立平頂山市，屬省直轄市，下轄二鎮四鄉，即諸葛廟鎮、西高皇鎮和大營鄉、東高皇鄉、井營鄉、姚孟鄉。
1958年，市區設立了五個街道辦事處，城市建設開始起步。1960年撤銷寶豐縣，將原縣屬行政區域劃歸平頂山市，次年又恢復寶豐縣制，仍歸許昌專署領導。
1964年3月，平頂山市改為平頂山特區，實行雙重領導，以煤炭部領導為主，河南省領導為輔。1968年3月，恢復平頂山市，仍為省轄市。1969年設置新華區和衛東區。1971年建立西區。1977年舞鋼區劃歸平頂山市，1979年舞鋼區又劃歸許昌地區管轄。1982年，舞鋼區重新劃入平頂山市。
1983年9月，分屬許昌地區的魯山、寶豐、葉縣三縣劃歸平頂山市管轄，1986年2月又將許昌地區的襄城縣和郟縣、洛陽地區的臨汝縣劃歸平頂山市。1988年6月，撤銷臨汝縣，設立汝州市。1990年9月，撤銷舞鋼區，設立舞鋼市。二市均為河南省計劃單列市，由平頂山市代管。汝州市於2011年6月1日正式施行省直管體制。
1994年8月10日，平頂山市郊區更名為湛河區。1996年12月，襄城縣又劃歸許昌地區。1997年12月18日，設立平頂山市石龍區。至此，全市轄四縣（魯山縣、寶豐縣、葉縣、郟縣）、四區(新華區、衛東區、湛河區、石龍區)，代管汝州市、舞鋼市，全市***有99個鄉（鎮）、25個街道辦事處，299個居民委員會、2584個村民委員會。
汝州市2011年被省政府省發改委確立為河南10個省直管試點擴權縣市之壹。2014年1月1日全面實行省直管體制。
2005年，平頂山市鄉鎮區劃調整，撤並5個（原出處為9個）鄉鎮。舞鋼市撤銷王店鄉，並入尚店鎮管轄，尚店鎮人民政府駐地不變；撤銷安寨鄉，並入棗林鄉管轄，棗林鄉人民政府駐地不變。魯山縣撤銷土門鄉，並入背孜鄉管轄，背孜鄉人民政府駐地不變。寶豐縣撤銷觀音堂鄉，並入大營鎮管轄，大營鎮人民政府駐地不變。石龍區撤銷南顧莊鄉，設立相應街道。撤並後，平頂山市全市有93個鄉鎮、39個街道；平均每個鄉鎮人口為5.19萬人，平均面積為84.75平方千米。