Die Anfänge der Brömserburg, ursprünglich Niederburg, wurden bisher nicht endgültig erforscht. Mauerreste eines Wehr- oder Wohnturms, vermutlich zwischen 800 und 1000 entstanden, sind im Inneren der Burg sichtbar.