Сэкономленные деньги спонсоров и государства было решено направить на летнюю Олимпиаду. В Лос-Анджелес германская сборная направилась уже в полном составе. Несмотря на то что Карл Дим был вновь назначен «шефом миссию), успех 1928 года не удалось повторить. Германия опять заняла девятое место, завоевав всего лишь три золотые, двенадцать серебряных и пять бронзовых медалей.

Первыми традиционно были американские атлеты. А второе и третье места заняли сборные Италии и Франции соответственно. Немцы уступили даже венграм и японцам, которые никогда до этого не считались особо сильными спортсменами. Как и стоило предположить, после столь неутешительного результата Немецкий Олимпийский комитет подвергся жесточайшей критике в германской прессе. Некоторые из газет требовали немедленной отставки Карла Дима и Теодора Левальда, но те никак не соглашались пойти на это, предпочитая обороняться от нападок.

Карлу Диму вновь пришлось прибегнуть к «национальной» риторике, чтобы объяснить необходимость участия немецких спортсменов в международных соревнованиях. В привычно резких формулировках он заявил: «Как еще можно вдолбить в голову немецким патриотам, что германский флаг надо водружать за пределами нашей страны, а мы были только лишь передовым отрядом?»