1860年，法國天主教會在法國政府的捐助下，在煙臺創辦了 "天主教堂醫院"，這是山東最早的大型西醫醫院之壹。這就是煙臺山醫院的前身。
1939-1949年，抗日戰爭和解放戰爭結束後，醫院於1949年11月復院，當時醫院名稱為煙臺工人醫院。
1953年，經山東省人民政府批準，原 "煙臺工人醫院 "更名為 "煙臺市立第二醫院"。當時，全院職工112人，其中衛生技術人員92人。
1959年4月，原 "煙臺市立第二醫院 "更名為 "煙臺市立煙臺山醫院"。同年10月，煙臺市人民委員會發出通知，將原 "煙臺市煙臺山醫院 "更名為 "煙臺市立醫院"。當時，醫院有病床170張，職工164人，其中衛生技術人員134人。
1972 年，醫院更名為 "煙臺市人民醫院"。
1972年，醫院更名為 "煙臺市人民醫院"，當時有病床210張，職工240人，衛生技術人員175人。
1983年12月，煙臺市人民政府發出通知，將原 "煙臺市人民醫院 "更名為 "煙臺山醫院"。當時，醫院有床位350張，職工430人，衛生技術人員334人。
1986年，煙臺市衛生局下發通知，將原 "煙臺山醫院 "更名為 "煙臺市煙臺山醫院"。
1990年，醫院加掛 "煙臺華僑醫院 "牌子。
1991年，經煙臺市科委批準，煙臺市骨科研究所在煙臺山醫院成立。
1994年6月，醫院成為泰山醫學院教學醫院，成立了六個教研室，集醫療、教學、科研為壹體，促進了醫療水平的提高和發展。
1997年8月，醫院骨科被正式認定為省級特色專科。這是全省市級醫院中唯壹壹個骨科專科。
1998年2月，醫院骨科、神經內科成為煙臺市首批醫療衛生重點學科。心血管內科、皮膚科、神經內科為煙臺市首批醫療衛生特色專科。同年6月，醫院成為煙臺市創傷急救中心並舉行掛牌儀式。
1999年5月，經山東省人民政府批準，煙臺山醫院與香港大學合作成立山東省煙臺關節置換中心。該中心是香港回歸後國內合作的第壹個人工關節置換中心。雙方將在人工關節置換手術、人才培養、學術交流和科研合作等方面開展積極廣泛的合作。
1999年9月，醫院各科室開始遷入投資1.6億元、高24層的綜合醫療大樓，標誌著醫院的就醫環境上了壹個新臺階。11 月 24 日，醫院對 "大順 "輪沈船事故幸存者的組織、及時搶救和精心醫治護理，受到上級部門的高度贊揚。醫院受到了上級部門的高度贊揚，樹立了良好的社會形象。