De fet, Joan d'Organyà -juntament amb altres canonges- va arribar i es va instal·lar en una cova que hi havia al Mont Malet, en dures condicions, sense aigua ni gairebé vegetació, dedicats a l'oració i l'espiritualitat tot seguint la regla de Sant Agustí (meitats segle XII) .

La fama d'una vida santa es va anar estenent ràpidament i el Comte d'Urgell, Ermengol VII, va finançar la construcció de l'ermita als voltants de la cova originària de Bellpuig el Vell.
La comunitat aquí no va properar perquè gairebé de forma simultània, es va iniciar la construcció de l'actual Monestir de Santa Maria de Bellpuig de les Avellanes.

Joan d'Organyà no abandonà mai Bellpuig el Vell; aquí morí i va ser enterrat.
Amb el temps, va canviar el nom de la cova ja que els devots acostumaven a anar-hi i treure com a relíquia el seu cap del sepulcre, per a venerar-lo: d'aquí el nom de "Sant Cap".
Consta documentat que al segle XVI ja no té lloc aquesta pràctica, tot i que es va mantenir el nom del lloc fins a l'actualitat.
Al segle XVIII es van traslladar les restes al Monestir de les Avellanes i posteriorment, a causa de la desamortització, al segle XIX van tornar a Vilanova de la Sal però avui no se'n coneix la ubicació .