Уже к середине 1933 года все важные должности и посты в политической и общественной сфере были заняты исключительно национал-социалистами. Спорт не был исключением. Только так можно объяснить то, что контроль над спортивной жизнью Германии был поручен ранее никому не известному выходцу из СА Гансу фон Чаммеру. Однако Карлу Диму нельзя отказать в настойчивости. Он решил продолжить свою деятельность даже после того, как оказался распущен Немецкий имперский комитет физической культуры.

Он смог сыграть на слабостях Чаммера, который не имел достаточных организационных навыков в сфере спорта. Выполняя свои прежние функции, но уже в аппарате Имперского комиссара по вопросам спорта, Дим не только сохранил свою зарплату, но и смог «укрепить» свою репутацию в среде «революционных» национал-социалистов. Поскольку имперский комитет прекратил свою деятельность, то его место должна была занять новая организация.

На некоторое время таковой стал «Имперский союз руководителей немецкого спорта», который был учрежден 12 июня 1933 года.