В первой половине XIV века была построена пятиугольная башня высотой 33 метра, которая была восстановлена. В 1346 году упоминается еще одна башня замка, которая сегодня уже не существует. Во время семейной вражды между Рупрехтом Спорчивым из Нассау-Зонненберга, представителем вальрамской линии рода, и Иоганном I из Нассау-Дилленбурга, старшим представителем оттонской линии, в 1372 году были разрушены дома рыцарей, которые, как известно, когда-то существовали.
До конца средневековья замок Нассау был заселен, но затем был заброшен как резиденция графов. Это положило начало постепенному упадку комплекса. На гравюре Маттеуса Мериана XVII века еще видны неповрежденные дворец и донжон, а также ворота, но в конце Второй мировой войны остатки замка были окончательно разрушены.
В 1965 году замок Нассау перешел в собственность Государственного управления замков Рейнланд-Пфальца (сегодня «Замки, дворцы, древности Рейнланд-Пфальца»). Когда в 1970 году начались работы по раскрытию прямоугольной кольцевой стены, от ее конструкции почти ничего не осталось. С 1976 года началась реставрация донжона: его вальмовая крыша и зубчатый венец, а также сторожевые башни были восстановлены по гравюре Мериана, а шести-восьмиметровые арочные своды его внутренних помещений были приведены в порядок. Кроме того, было открыто отверстие в подземелье в подвале башни.
В 1979–1980 годах были снесены оригинальные стены дворца эпохи Штауферов, которые частично сохранились до верхнего этажа, и был проведен ремонт дворца с рыцарским залом с использованием современных строительных материалов на исторических фундаментах, хотя было бы возможно и более бережное использование сохранившихся частей. Такой вид реконструкции был осуществлен с нарушением Венецианской хартии 1964 года.[2] Подвал и цокольный этаж дворца состояли из слоев плоского, грубого и темного шламового сланца, а верхний этаж — из точно вырезанных светлых туфовых блоков. Перед сносом в юго-восточной стене были обнаружены замурованные остатки шести трифорийных окон (сдвоенных окон) романского периода, которые были вставлены в каменную кладку из светлых туфовых кирпичей. На первом этаже было три квадратных окна, а на концах стены паласа — по одной узкой двери, вероятно, ведущей в деревянные туалеты, под которыми находились две короткие щели для освещения. Из этого сохранился (в экспозиции) только капитель из тесаного камня с лиственным орнаментом из одного из трифорийных окон, относящийся к эпохе Штауфенов. Сторона двора была полностью перестроена, а снесенная восточная сторона возведена в искаженном виде. Существующее сегодня здание является результатом неоисторической реконструкции.