伍芬桑1933年12月1日生於澳洲新南威爾士州悉尼。在其自傳《A Global Life》中,伍芬桑自述從對貨幣的不安全感來自童年,並解釋自己一直在尋找緩衝以自保[2]。
他曾在伍哈勒公學(Woollahra Public School)[2]與雪梨男子高中(英语:Sydney Boys High School)就學。並在悉尼大學攻讀藝術(BA)與法律(LLB)。1959年,伍芬桑在哈佛商学院獲得工商管理碩士(MBA)學位。2010年,伍芬桑在回憶錄中透露,包含英語在內,自己曾有好幾門大學課程不及格,而且自己是個「大器晚成的人」(late developer)。
^The Real Mr. Wolfensohn. [2015-09-19]. (原始内容于2019-09-21).
^ 2.02.1Stutchbury, Michael, The man who inherited the Rothschild legend, The Australian (Australia), 30 October 2010: 11 [30 October 2010], (原始内容于2010-11-04)
^. sports-reference.com. [13 October 2010]. (原始内容存档于2012-11-03).
^World Bank biography Archive.is的存檔,存档日期2011-08-07; retrieved 7 May 2008
^Schneider, Howard. James D. Wolfensohn, who led World Bank through tumultuous decade, dies at 86. 華盛頓郵報. 2020-11-25 [2020-11-27]. (原始内容于2020-11-26) (英语).