Однако Швейцер не потерял мужества и продолжал агитацию, пока в ноябре 1865 года правительство, пользуясь покладистыми судьями, не засадило его на 16 месяцев в тюрьму. Это было время, когда стало делаться ясным, что борьба между Габсбургами и Гогенцоллернами решится острием меча. В наступившей смуте Всеобщий Германский Рабочий Союз подошел к краю пропасти. Всеобщее избирательное право в первое время тоже не было водой на его мельницу.

При выборах в учредительный рейхстаг Северогерманского союза, состоявшихся в феврале 1867 года, он получил почтенное количество голосов,—  40.000,— но не получил ни одного мандата. Однако, союз скоро оправился от этого тяжелого разочарования и в мае того же года передал руководство Швейцеру, который получил диктаторские полномочия и при самых тяжелых условиях неизменно оказывался наиболее способным человеком в рабочем движении. Сам Швейцер был, слишком умея для того, чтобы предаваться иллюзии, будто пролетарское массовое движение может долго подчиняться диктатуре отдельного лица; но члены союза, и как раз наиболее старые и стойкие из их числа, были достаточно дальновидны и потому поняли, что при тогдашних условиях, критических в самых разнообразных отношениях, диктатура была все еще необходима и полезна.