Несостоявшиеся в 1940 году зимние Олимпийские игры означали, что у Карла Дима стремительно сокращались шансы запять достойную должность в структуре национал-социалистического спорта. Он был востребован, ковда требовалось организовать Олимпиаду 1936 года, по она была уже в прошлом. Управление Международным олимпийским институтом требовалось только для того, чтобы наладить связи Германии с олимпийским движением, но в первый год войны в подобных отношениях не было особой необходимости. Уже весной 1939 года Карл Дим чувствовал, что ему страшно не хватало деятельной работы. В мае 1939 года он записал в своем дневнике: «Институт функционирует по наитию, я сам осознаю, что не приношу никакой практической пользы».

Чтобы найти новую сферу применения своих знаний, Карл Дим обратился к Гансу фон Чаммеру, с которым у него сложились хорошие отношения. В том же самом мае 1939 года Дим в письме к Имперскому спортивному руководителю сообщал, что мог бы поделиться своими знаниями с молодежью, а потому надеялся на должность руководителя Имперской академии физического воспитания. Указанное учреждение в то время по совместительству возглавлял Карл Крюммель. Дим даже предполагал, что под его началом академия могла бы стать лучшим учебным заведением мира.

Не забывая о том, что до сих пор не являлся членом НСДАП, Карл Дим даже изъявлял готовность вступить в партию, но только если это было обязательным условием для руководства учебным заведением.