Каждый историк знает, что замок Роттенштейн был построен в период раннего средневековья примерно с VIII по X века. Первым хозяином укрепления стал граф фон Вилдберг, который также владел старинным замковым комплексом Вильденберг, располагавшийся по соседству.
Затем в XII веке, предположительно, владельцами этого замка стали представители знатной династии графов Хеннеберов. Замок просто расцвел, когда им стал управлять Бертольд Хеннеберг, он смог из скромненького военного укрепления создать роскошную на то время резиденцию.
Переломным моментом в истории крепости в те времена, когда им управлял Эбехарде II Вюртемберг, сын графа Ульриха III. Молодой Эбехард 17 сентября 1342 года взял в супруги дочь графа Генриха VIII Элизабет фон Хеннеберг и вместе с приданным он стал распорядителем замка Роттенштейн. В замке супруги прожили примерно 12 лет, а затем в 1354 году графиня Вюртемберг решилась продать крепость Роттенштейн епископу Альберту II Вюрц бургу.
Несмотря на то, епископ выложил кругленькую, на то время, сумму, замок не оправдал его надежд, потому что имел большие финансовые проблемы. Вследствие чего, Альберту II Вюрцбургскому просто таки пришлось отдать крепость бишофу Рудольфу фон Шеренбергу Вюрцбургскому, который в 1466 году был избран руководителем округа и оставался им по 1495 год.
Падение замка Роттенштейн происходит в период с 1524 по 1525 годы, во времена Крестьянской войны. Армия недовольных крестьян, которые были крайне возмущены высокими и непосильными налогами, разнесли резиденцию Вюрцбургов. Когда восстание было подавлено, Вюрцбургер построил на холме Амцнаус новый замок, А Роттенштейн был заброшен, и со временем превратился в руины и использовался как каменоломня и карьер.
Старинное укрепление Burgstall Rottenstein известно туристам с 2001 года и только потому, что мимо него расположена туристическая тропа к башне Шведский Хилл. До наших дней от замка сохранилось не много. Некоторые укрепления круговой стены в лесной чаще, которые находятся на высоте около 487 метров над водой, а диаметр их составляет 50 метров.
Также сохранилась смотровая площадка. Стену возвели из неровных каменных блоков, которые добывали из скалы. По мнению историков, эта стена является единственной оборонительной, а остальные стороны крепости примыкали к скале, которая и обеспечивала естественную безопасность.
На южной стороне замка Роттенштейн, для оборонительных целей был вырыт глубокий ров, сохранившийся до наших времен. На северной стороне также была сооружена очень глубокая канава. Считается, что большая глыба камней, которые находятся с внутренней стороны замка от главной стены, применялись для строительства крепости, этим камням так и не нашлось применение. И теперь они просто служат свидетельством, что здесь было древнее укрепление. Территория, где валяются камни, ранее считалась центральным двориком.
Изначально крепость имела потрясающий красный цвет, благодаря особенности горной породы местного скального массива. На территории крепости периодически ведутся раскопки, дабы восстановить историческую картину и внешний облик замка.