Швейцарские устроители Олимпиады прекрасно понимали, что лыжный спорт был основой всех зимних игр, а потому предложили все-таки провести соревнования, но не выдавать по их итогам именно олимпийских медалей. Как оказалось, этот компромисс никого не устраивал. И меньше всего он устраивал Третий рейх, спортсмены которого могли претендовать на определенное количество медалей именно в лыжных видах спорта. Как результат Германия пригрозила бойкотом зимних игр. Отсутствие сборной Германии, которая провозгласила себя «мировым центром всего олимпийского движения», фактически означало срыв всех игр.

В этих условиях граф Байе-Латур направил 21 апреля 1939 года в Швейцарию письмо, в котором сообщал, что если в Санкт Морице не будет проведено полноценных лыжных соревнований, то не исключалась возможность переноса места проведения зимних игр. Из Швейцарии не слишком то спешили с ответом. Он пришел только две недели спустя. В нем сообщалось, что Швейцария была готова отказаться от приема зимней Олимпиады. Граф Байе-Латур пребывал в растерянности — он ожидал совершенно другого ответа.

Чтобы хоть как-то исправить ситуацию, он обратился к Карлу фон Хальту с просьбой рассмотреть возможность проведения Олимпиады на территории Германии.