Es ist nicht zu verwundern, dass sich die Grafen von Toggenburg und die Äbte des Klosters St. Gallen, deren Grundherrschaften bunt durcheinander lagen, oft als Rivalen gegenüberstanden. Um das Jahr 1240 liess der Abt durch seinen damaligen Dienstmann aus den Geschlechte der Iberg ob Wattwil eine Burg bauen. Die Festung Iberg sollte damals die überaus wichtigen Passübergänge über den Ricken und die Laad und damit die Rechte des Abtes sichern und jede kriegerische Handlung des Grafen überwachen. Kaum war das Werk vollendet, überfiel Graf Kraft I die Feste. Um die Iberg wieder in seine Hand zu bringen, baute der Abt um 1253 auf der östlichen Talseite, in der Waldwilde der Pfanneregg (am Weg vom Thurtal über Hemberg in das damals noch äbtische Appenzell) die Veste Bärenfels. Bereits im Jahre 1259 jedoch nahm der Abt das Schloss Iberg wieder ein. Später führten die Äbte und das Grafenhaus um den Besitz der Iberg noch öfters Fehden und auch von andern Kriegsereignissen wurde die heissumkämpfte Veste umbrandet.