Приглашения на это мероприятие получили представители Болгарии, Дании, Финляндии, Голландии, Италии, Хорватии, Норвегии, Румынии, Словакии, Испании, Венгрии и Португалии. По самым различным причинам было решено отказаться от приглашения делегатов из Бельгии, Швеции, Швейцарии, Франции, Греции и Турции. Карл Дим распланировал работу конференции буквально по минутам, но в дело опять вмешалась случайность.

Сначала конференцию перенесли на две недели, затем на неопределенный срок, а потом и вовсе про нее забыли. Причины этого неясны, но не исключено, что Карл Дим стал заложником «борьбы компетенций», а именно противостояния Геббельса и Риббентропа. Каждый из этих деятелей хотел контролировать сферу спорта. Между тем Карл Дим стал ощущать, что сдавал позиции.

Ему исполнилось 60 лет, с каждым днем становилось все сложнее и сложнее соревноваться с «активной молодежью», например с эсэсовским офицером Артуром Йеншс. Когда 25 марта 1943 года в возрасте 55 лет от сердечного приступа скончался Ганс фон Чаммер, Дим потерял своего высокого покровителя. Когда новым Имперским спортивным руководителем был назначен Арно Брайтмайер, то это означало, что политическая карьера Карла Дима в Третьем рейхе была закончена.

            Ему оставалось лишь изредка выпускать журнал «Олимпийское обозрение» и изображать видимость работы Международного олимпийского института.