安徽績溪人。
幼時家境貧寒，經親戚推薦，在杭州壹家錢莊當學徒。因囊助潦倒的冗吏王有齡旋升，以致自身失業，王有齡感其恩，逐結生死之交。王有齡得官歸來，極力支持胡雪巖創辦了“阜康錢莊”，胡雪巖由此開始起家，竭力經營絲綢、茶葉生意，經苦心經營，很快躋身於江浙大賈之列，在左宗棠西征收復新疆時，他是左的“總後勤”，因調度有方，保證了各類軍需物質的及時供應，經左宗棠保舉被皇帝賞給壹品頂戴和黃袍馬褂，他由商而官，亦官亦商，終成顯赫壹時的“紅頂商人”。
1874年，胡雪巖在杭州吳山大井巷創辦了胡慶余堂國藥號，由於胡雪巖堅持“戒欺”、“是乃仁術”和“真不二價”等撐門立戶宗旨，成功地經營了胡慶余堂，使其達到了登峰造極的地步，成為江南藥王。