1388 hat der Überlieferung zufolge eine Maus während einer Messfeier in der ehemaligen Burgkapelle ein Stückchen eines Reliquienverzeichnis ans Tageslicht gezerrt. Bei anschließenden Grabungen unter dem Altar der Burgkapelle kam eine Kiste zum Vorschein, in der sich die Teile des „Heiltumsschatzes“ befanden. Eingehüllt in das Brautkleid der hl. Elisabeth kamen unter anderem die Heiligen Drei Hostien wieder zum Vorschein.

Ende 1389 wurden die Reliquien nach München in die herzogliche Kapelle im Alten Hof gebracht und während des Heiligen Jahres 1392 zur Verehrung ausgestellt. Schon damals wurden Opfergelder gesammelt – wohl mit dem Ziel, auf dem Andechser Berg ein Kloster zu errichten. Seit 1394 deuten zahlreiche Stiftungen ebenfalls auf eine Klostergründung hin.

Etwa in der Zeit zwischen 1416 und 1423 wurde die heute noch bestehende Kirche als dreischiffige gotische Hallenkirche erbaut. Bauherr war Herzog Ernst (1373-1438), der dem Andechser Berg auch den Namen „Heiliger Berg“ verlieh. Spätestens 1425 kam der Heiltumsschatz wieder nach Andechs zurück. Augustinerchorherren von Dießen betreuten zunächst Kirche und Wallfahrt, dann eine Gemeinschaft von Weltpriestern – allerdings ohne den gewünschten Erfolg. Daher erbat sich der Sohn von Herzog Ernst, Herzog Albrecht III. (1438-1460), vom Reformkloster Tegernsee Benediktiner zur Betreuung der Wallfahrt in Andechs.

Die Stiftung des Klosters durch Albrecht III. erfolgte 1455. Drei Jahre später schrieb er mit dem Stiftsbrief die Grundausstattung des Klosters fest. Als geistliche Aufgaben wurden den Mönchen Gottesdienst, Pflege und Verwahrung des Heiltums, Gebetsgedächtnis und ewiger Jahrtag für die Stifter und kirchliche Verwendung der Wallfahrtsgaben übertragen. Noch 1458 erhielt das Kloster mit Eberhard Stöcklin (1458-1462) seinen ersten Abt. Herzog Albrecht III. bestimmte das Kloster außerdem zu seiner Grablege. Nach seinem Tod 1460 wurde er hier beigesetzt.