Erbaut wurde Vilsegg um das Jahr 1220. Erst im Besitz der Edelfreien von Hohenegg wurde es 1408 an Erzherzog Friedrich "mit der leeren Tasche" verliehen und somit zum Sitz von tirolisch-landesfürstlichen Pflegern.

Um das Jahr 1500 wurden Ausbauten an der Vorburg unternommen.

Mitte des 18. Jahrhunderts wird der Verfall der Burg in der Chronik festgehalten. Zusätzlich legt ein Erdbeben im Jahre 1939 einen Großteil des Mauerwerks ein.

Heute ist nur noch der große, gut erhaltene Bergfried zu sehen. Dieser war einstmals bewohnbar, fünfgeschossig und mit Schwalbenschwanzzinnen versehen. Weitere Teile der Burganlage sollen in naher Zukunft wieder freigelegt werden.

Im Museum der Stadt Vils können zahlreiche Exponate rund um die Geschichte der Burg, aber auch der kleinen Stadt, angesehen werden.