Mächtig und erhaben steht sie da, die Burg Steinsberg, respektive das, was noch von ihr übrig geblieben ist – der Turm. Dieser gilt als Wahrzeichen von Ardez und darf auf keiner Postkarte oder Ferienfotografie fehlen. Während er all die Jahre, Wirren und Kriege überlebt hat, war der eigentlichen Burganlage ein relativ kurzes Dasein beschieden.
Erbaut wurde die Burg im 12. Jahrhundert, und die ersten urkundlich erwähnten Inhaber waren die Herren von Frickingen bei Überlingen am Bodensee. Vor seinem Tode am 2. Februar 1209 verkaufte Albert von Frickingen seinen Besitz, zu dem auch die Burg Steinsberg gehörte, dem Churer Bischof Reinher della Torre. Als Graf Albert von Tirol im Jahre 1228 auf seine Eigentumsansprüche an der Burg verzichtete, richtete das Bistum dort ein bischöfliches Gericht ein.
Allerdings geriet das Domkapitel in wirtschaftliche Schwierigkeiten und musste 1348 die Steinsbergfeste der Familie Planta als Pfand für die von ihnen entliehenen 150 Mark übergeben.
Daraufhin wurde die Anlage noch mehrere Male hin- und herverpfändet, bis sie 1485 Balthasar und Jacob Scheck übernahmen. 1499 brannten dann kaiserliche Truppen im Schwabenkrieg die Burg nieder und brachten Balthasar Scheck, den letzten Vogt von Steinsberg, nach Meran, wo sie ihn töteten. Nachher wurde die Burg nur notdürftig wieder aufgebaut. Im 16. Jahrhundert verzweigte sich die Familie Planta Wildenberg Zernez nach Steinsberg. Der gesamte Burghügel, die Burg wie auch die Kapelle St. Luzius befinden sich heute noch im Besitz der Nachfahren von Johann Emanuel von Planta Wildenberg.