1937年12月13日，南京城淪陷。約翰·拉貝高舉安全區標誌旗，帶領安全區工作人員攔住日軍先頭部隊，阻止他們向安全區開進。他拿出地圖指明“國際安全區”的位置，特別要求他們註意三處紅十字醫院。
拉貝在寓所的院子裏修了壹個結實的防空洞，並備置了食物、飲料、藥品、浸醋繃帶等物品。在防空洞旁，他撐起了壹塊長6米、寬3米的帆布，在帆布上畫了有“卐”字標記的德國國社黨黨旗，以警告日本轟炸機：不許侵犯，這是德國人的領地，附近的居民紛紛前來躲避空難。
1937年11月，為了盡量減少戰爭給平民造成的傷害，金陵大學校董會董事長杭立武提議在南京設立難民區，拉貝是德國國家社會主義工人黨的黨員且有職務，被推選為南京安全區國際委員會主席。安全區占地3.86平方公裏，包括金陵大學、金陵女子文理學院、鼓樓醫院、美國大使館等機構。安全區內非軍事化，設立25個難民收容所，拉貝的住宅是其中之壹，史稱“西門子難民收容所”。
據助手韓湘琳統計，最多的時候，在拉貝的辦公室和院子裏投宿的人壹***有602名（302名男子，300名婦女，其中有126名10歲以下的兒童。這個統計數字還不包括公司的14名職員、雜工和他們的家人，這樣算起來總數約有650人。
日軍頻頻騷擾，他們常以搜查中國軍人為名進入安全區，拉貝不得不經常守在家中保護難民。在如此艱難的形勢下，日軍對德國國旗和納粹黨徽章表示了充分的尊重，多數情況下，拉貝只要展示他的袖標或者大喊壹聲“德意誌”和“希特勒”就能震懾日本士兵。
為了安全區難民的生存，拉貝多方求援，甘願以“南京安全區國際委員會”主席的名義四處奔波疾呼，為難民乞求善款、糧食、藥品及其他基本生活必需品。
他帶領十幾位外籍人士向日使館交涉20余萬難民的食糧問題，同時敦請英、 美、德使館出面，給日軍施加壓力，終於迫使日軍同意難民區每天可購米1000袋。 拉貝又親自拜訪英、美使館官員，希望能向中國難民伸出援助之手，最終募得21.5萬元的捐款，購買到急需的糧食和藥品。在拉貝的努力下，壹度停炊的粥廠又升起 了炊煙，為衣食無著的難民提供了壹份保命食物。 他還歷盡艱辛，從上海為難民們弄來 了能預防腳氣漫延的蠶豆.