Однако, когда только началась реальная подготовка к Берлинской Олимпиаде, над ней вновь сгустились тучи. Это было связано с тем, что 30 января 1933 года к власти пришли национал-социалисты. Для многих было очевидным, что появление новой власти должно было отразиться на спорте в целом и подготовке и к Олимпийским играм в частности. Вопрос заключался в том, собиралось ли имперское правительство Гитлера вообще проводить Олимпиаду. В начале 1933 года многие видные национал-социалисты яростно критиковали «олимпийское примиренчество».

В то же самое время Теодору Левальду удалось коечто сделать буквально накануне прихода Гитлера к власти. 24 января 1933 года им был учрежден Организационный комитет по проведению Олимпийских игр 1936 года. Он смог сформировать состав этого комитета еще до того, как на это могло повлиять национал-социалистическое правительство.

Генеральным секретарем комитета Олимпиады был назначен Карл Дим. Именно он становился ответственным за организацию игр в Берлине.

Однако его «олимпийская мечта» вновь оказалась под угрозой. Опять можно было вспомнить времена Первой мировой войны. Когда в 20х числах января 1933 года создавался организационный комитет по проведению Олимпийских игр в Берлине, то в него сознательно пригласили обербургомистра германской столицы Генриха Зама.