Bereits 771 und 785 wurde der „Hohenberg“, wie der Turmberg zu jener Zeit genannt wurde, im Lorscher Codex erwähnt. Der Burgbau begann offenbar im letzten Viertel des 11. Jahrhunerts durch die Grafen von Hohenberg. Graf Berthold von Hohenberg der Ältere gründete 1094 auch das Kloster Gottesau.

Der Ursprungsbau begann als Wohnturm, der heute nicht mehr sichtbar ist und sich südwestlich unmittelbar neben dem heutigen Turm befand.

Als 1136 der letzte männliche Nachfahre, Berthold der Jüngere, kinderlos verstarb, gingen sowohl die Grafschaft über den Pfinzgau als auch die Burganlage auf die Grafen zu Grötzingen als Lehender Staufer über. Nun wurde der Turmberg auch „Burg Grötzingen” genannt. 

(Quelle Text: ka.stadtwiki.net)