Уже в июне 1940 в малой крепости была организована следственная тюрьма пражского гестапо. Первые заключённые здесь появились 14 июня 1940 года.За всё время существования через тюрьму прошло более 32000 заключённых, из них 5000 были женщины.И хотя Терезинская Малая крепость была лишь пересылочным пунктом в ней погибло более 2600 заключённых.
В конце войны в малой крепости вспыхнула эпидемия сыпного тифа.
8 мая в Терезин вошли советские войска.
В 1945-1948 годах в Малой крепости находился лагерь для интернированных немцев, высылаемых из Чехословакии.