Seit dem Jahre 1201 - 1945 residierten die Grafen von Stolberg, bzw. die Fürsten Stolberg-Stolberg in dem Schloss, dass auf einem Bergsporn über der Stadt errichtet wurde.

Eine Burg stand an dieser Stelle vermutlich schon seit dem 10./11. Jahrhundert. Sein heutiges barockes Aussehen erhielt das Schloss durch Umbauten zwischen 1690 und 1700. Die meisten Räume sind mit stark plastischen Stuckdecken geschmückt. Besonders sehenswert sind die Schlosskapelle, sowie der Blaue und der Rote Saal. Dieser wurde von Karl-Friedrich Schinkel (1781-1841) im klassizistischen Stil ausgestattet.

Bis 2002 standen die Zeiger der Turmuhr im Schlosshof auf 10 Minuten nach 12, was den Zustand der baulichen Substanz sehr treffend bezeichnete. Der Gebäudekomplex stand viele Jahre ungeschützt, undichte Dächer ließen das Regenwasser ungehindert eindringen, so dass der Echte Hausschwamm sich ausbreiten konnte. Das Problem Hausschwamm hat das Schloss bereits über Jahrhunderte begleitet und soll nun ein für alle Mal beseitigt werden.

Durch das Engagement der Deutschen Stiftung Denkmalschutz, welche das Schloss im Jahre 2002 übernahm, wird es nun aus seinem Dornröschenschlaf erweckt und thront in enigen Jahren wieder in alter Pracht über der Stadt.