Людвиг искренне любил брата, но духовной близости не было и с ним. Летом 1855 года — с 1 июля по 4 августа — Максимилиан II с семьей посетил Нюрнберг. Десятилетний Людвиг впервые оказался в этом величественном прекрасном городе, атмосфера которого насквозь пропитана духом Средневековья. Могучая громада Кайзербурга, возвышающегося над городом, сразу и навсегда покорила сердце впечатлительного кронпринца.

ПередНюрнбергом Мюнхен казался ему теперь невзрачным и жалким, словно оруженосец перед рыцарем. Возможно, уже тогда у Людвига родилась еще неосознанная идея перенести столицу Баварии именно в Нюрнберг, но в свое время он так и не сможет восстановить историческую справедливость. Однако настало время уделить серьезное внимание общему образованию подрастающего наследника, кроме его явного увлечения архитектурой. В 1856 году было начато обучение Людвига предметам полного гимназического курса.

Восемь часов в день отныне отдавались греческому и латыни, немецкому и французскому, истории и литературе.