Het kasteel is een ruïne van de tussen 1455 en 1461 door graaf Jacob I van Horn gebouwde burcht. Deze burcht was de zetel van de heren van Weert, de latere graven van Horn, en bestond uit een hoofdburcht en een, eveneens 15e-eeuwse, voorburcht. De hoofdburcht was gelegen op een dubbel omgracht terrein en had een rechthoekig grondplan van circa 75×60 meter met een ommuurde binnenplaats [1]. Op de hoekpunten lagen vier torens, waarvan op de noord- en zuidhoek twee forse vierkante torens met hoge spitsen en laatgotische architectuur, met grote ramen, arkeltorentjes, dakkapellen en een traptoren, en twee kleinere ronde torens op de beide andere hoeken. Het had een grote, zeer hoge woonvleugel met trapgevels, die was geplaatst tegen een van de lange zijden, een poortgebouw en voor het overige was het gesloten door een kasteelmuur.
Het kasteel werd verwoest in 1702 tijdens de Spaanse Successieoorlog bij het beleg van Weert. Hetgeen er overbleef waren de restanten van de hoektorens, de ommuring en delen van het poortgebouw in de voorburcht.
Op de fundamenten van de vierkante zuidelijke toren werd in 1841 het huidige herenhuis gebouwd door burgemeester Louis Francois Hubert Beerenbroek (1805-1884). De ronde oostelijke toren werd in de 19e eeuw nog verhoogd.
