Un testamento del 1197 fa cenno a una donazione a quelli del Venda e documenta la presenza di un insediamento religioso presso la cima del Colle più alto. Il primo monaco che si ritirò in questo luogo fu Adamo di Torreglia che visse fino al 1160 all’interno di una grotta situata sulla cima. Nel 1209 Stefano, ex priore di Santa Giustina, e frate Alberico edificarono due piccole chiese dedicate a S. Michele Arcangelo e a S. Giovanni Battista e dal 1229 il piccolo eremo diventò un vero e proprio monastero sotto la Regola di San Benedetto. I lasciti dei nobili Maltraversi di Castelnuovo e, in seguito, della famiglia dei Carraresi crebbero la sua importanza e al posto delle prime due chiese se ne edificò una più imponente dedicata a S. Giovanni Battista. Nel 1380 fu affidato alla congregazione degli Olivetani, ordine aristocratico e abili pittori ed intagliatori di legno.
La chiesa, ad unica navata rettangolare e possente campanile, aveva un altare, un coro in legno lavorato, un presbiterio con lesene in trachite scolpita e, sotto l’altare maggiore, la cripta dedicata alla Madonna. Il monastero d’impianto possente e austero era articolato in corridoi, celle, magazzini, chiostro e orti. Dopo un lungo periodo sereno durato fino al 1771, la Repubblica di Venezia soppresse il monastero, trasferì i monaci e mise all’asta il cenobio e i possedimenti che furono acquistati dalla famiglia Erizzo. Il complesso monumentale diventò rifugio di pastori e andò inevitabilmente in rovina.
Attualmente il sito non è accessibile internamente alla visita.
