この場所は、戦後GHQ(連合国軍最高司令官総司令部)に接収され、ワシントン・ハイツと呼ばれる米軍将校家族宿舎が建てられていた。オリンピックの開催が決定したため、アメリカに返還を求め、昭和36年(1961)に接収が解除され、代々木競技場とオリンピック選手村が建てられた。