Die Höhlenburg entstand um das Jahr 1250 und dürfte von den Herren von Hohenegg erbaut worden sein.

Um 1315 wurde die Festung von den Tiroler Landesfürsten erobert (die Hohenegger waren der Fürstabtei Kempten zugehörig).

Somit war das Schloß Loch ein vorgeschobener Außenposten von Ehrenberg geworden und gleichgestellt mit den Vorwerken Kniepass und Roßschlög (Roßschläg).

1328 dürften die Hohenegger nochmals einen Rückeroberungsversuch gestartet haben, welcher aber scheinbar nicht zum gewünschten Ergebnis führte.

Über den weiteren Verlauf der Geschichte des "Schloss Loch" ist so gut wie nichts mehr überliefert und so sind lediglich Spekulationen darüber vorhanden.

Eine dieser Spekulationen besagt, dass die Höhlenburg in späterer Zeit als Raubritterburg genutzt worden wäre und die Augsburger Kaufleute zwischen 1423 und 1435 einen Feldzug gegen das Raubrittertum im benachbarten Allgäu vollzogen hätten, wobei auch die Höhlenburg ein Ziel gewesen sein könnte.

Die Burg könnte demnach bei einem solchen Feldzug zerstört worden sein. Aber es ist eben bloße Spekulation und fehlt hier jegliche geschichtliche Absicherung.