顏回峰是南嶽的第壹高峰，位於市區。相傳“大雁北飛南飛，故翼停而歸”，所以市區又叫雁峰。
公元前221年，秦始皇統壹全國，將原楚國南部分為黔中、長沙兩郡，長沙郡包括衡陽。
公元220年，孫吳在長沙縣東南設立湘東郡，郡址在今陵縣。衡陽縣設在長沙縣西部，在今湘鄉境內，轄正陽(今衡陽縣)、崇安(今衡南縣)、湘南、湘西(今衡山、衡東、南嶽區)、湘鄉、益陽等縣。這是歷史上第壹次出現以衡陽命名的縣。
公元589年，隋朝滅陳，改郡為州，棄湘東、衡陽郡，置衡州，改為衡陽郡。州鎮和縣鎮都在這條河的東岸。這是歷史上第壹次出現衡陽縣。
2001年4月4日，國務院批準(國函[2006 54 38+0]34號):撤銷衡陽市江東區、城南區、城北區、郊區，設立衡陽市珠暉區、雁峰區、石鼓區、蒸湘區市。雁峰區轄原城南的雁峰、白沙洲、黃茶嶺、天馬山、先鋒路5個街道，衡南縣的湘江鄉(不含劉陽村)、嶽坪鄉(不含聯合、嶽坪、北塘3個村)、文昌鄉。區人民政府駐湘江南路。