Их принудительный труд использовался для того, чтобы по возможности завершить некоторые из строений и законсервировать те, чье окончательное возведение не представлялось возможным. Если эти объекты не могли использоваться для Олимпиады, то это вовсе не значило, что они не имели никакого значения для национального спорта. Окончательно Германия отказалась от проведения зимних Олимпийских игр только в конце осени 1939 года.

Несмотря на то что уже в октябре 1939 года было ясно, что западные державы не будут заключать мира с рейхом, целый месяц доилось ожидание официального уведомления об отказе. Это делалось не в надежде, что Англия и Франция внезапно изменят свою позицию. Время тянулось для того, чтобы игры не провести в какой-нибудь из нейтральных стран (для этого, например, почти идеально подходила Швеция).

Лишь 22 ноября Карл фон Хальт информировал графа Байе-Латура об официальном отказе Германии принимать у себя игры 1940 года. В конце ноября Международному олимпийскому комитету не оставалось ничего другого, кроме как вообще отменить предстоящую зимнюю Олимпиаду.