Он был возмущен тем, что никак не мог повлиять на решение Международного олимпийского комитета, который решил не допускать Германию до участия в Олимпийских играх 1924 года, которые проходили в Париже. С другой стороны, он отказывался от членства в МОК, которое ему мог обеспечить Пьер де Кубсртен. Реакция Карла Дима была настолько бурной, что на некоторое время он вновь дистанцировался от международного олимпийского движения. В некоторых из своих выпадов в адрес МОК он даже позволял себе расистские пассажи: «Даже Олимпийские игры в 1924 году решено провести во Франции, в стране, которая захлебывается в приступах враждебной ненависти…

Ни один немец не появится на так называемом празднике мира в Париже до тех пор, пока негры во французской униформе топчут берега немецкого Рейна! Для нас полновесной заменой должны стать наши состязания». Впрочем, скрытый расизм был присущ Карлу Диму почти всегда.

Еще в годы Первой мировой войны он не раз рассуждал в своих статьях о «непобедимости германской расы». Но нельзя не отметить, что Дим никогда не был расистом в национал-социалистическом смысле этого слова.