После отказа Бисмарка Людвиг II, внезапно переставший получать уже вошедшее в привычку вспомоществование, на которое он рассчитывал, обратился к своему другу графу фон Хольнштайну с приказом немедленно изыскать новый источник финансирования в первую очередь строительства Херренкимзее. Напомним, что платежи фонда Вельфов все 10 лет проходили непосредственно через фон Хольнштайна, за что граф не стеснялся брать 10 % с каждой выплаченной суммы. Нетрудно подсчитать, насколько обогатилась казна самого фон Хольнштайна, и так одного из богатейших людей Баварии. Кроме того, граф был другом детства короля.

Тот вправе был рассчитывать на то, что друг его понимает, ему благодарен и обязательно поможет (возможно, и из собственных финансов). Другими словами, Людвиг II внутренне никак не был готов к отказу. Между тем со стороны фон Хольнштайна последовал именно отказ, причем в довольно резкой форме.

Людвиг тоже вспылил; произошла ссора, результатом которой стало удаление графа от двора; вспыльчивость и раздражительность Людвига II в последнее время были общеизвестны.