In 1540 wordt Juan de Yepes y Alvarez in Fontiveros geboren als derde kind van Gonzalo de Yepes en Catalina Alvarez. Zijn vader, die beneden zijn stand was getrouwd en daarom onterfd, was wever. Hij sterft als Juan nog maar heel jong is. Het gezin vestigt  zich in Medina del Campo. Juan wordt naar het Colegio de la Doctrina gestuurd, een soort ‘weeshuis’ voor arme kinderen. Hij kan er een ambacht leren. Hij waagt zich achtereenvolgens aan verschillende beroepen.  Dan krijgt hij een baantje als loopjongen bij een ziekenhuis dat gespecialiseerd was in besmettelijke ziekten.
Juan valt daar op door zijn intelligentie en neiging tot beschouwend leven. Hij krijgt de mogelijkheid om tijdens vrije uren lessen te volgen in het nabij gelegen college van de Jezuïeten.

Op een dag verlaat hij het ziekenhuis om aan te kloppen op de deur van de Karmel. De strenge levenswijze en de concentratie op God, trekt hem. Op 24 februari 1563 treedt hij in in het noviciaat van de Karmel van Medina.

Vanaf 1564 volgt Juan colleges filosofie en theologie. Hij leest mystieke auteurs en hij zoekt naar het wezen van de contemplatie. Het ontvangen van de omvormende werking van God in de menselijke ziel beschouwt hij als de kern van het leven in de Karmel. Omdat een leven in eenzaamheid, stilte en gebed hem trekt, overweegt hij om Kartuizer te worden.

In augustus 1567 komt Teresa van Avila naar Medina del Campo om daar haar tweede klooster van Karmelietessen te stichten. Juan komt in diezelfde tijd naar deze stad om in de kerk van de Karmel zijn eerste mis te vieren. Zij ontmoeten elkaar. Teresa overtuigt hem om met haar mee te werken in haar pogingen om te komen tot een hervorming van het karmelitaanse leven waarin gebed en stilte meer centraal staan. Het wordt een vruchtbare samenwerking. Binnen korte tijd stichten zij vele kloosters.

Juan heeft een grote gave om mannen en vrouwen te begeleiden in het contemplatieve leven. Daarbij is hij ook literair begaafd. Deze combinatie leidt tot het schrijven van gedichten en proza, waarin hij het proces beschrijft dat een mens kan overkomen als die zich richt op God. Deze werken behoren tot de klassieke spirituele literatuur. Beroemde werken zijn: Geestelijk Hooglied, Bestijging van de Berg Karmel, Donkere Nacht en Levende Vlam van Liefde.

De hervorming veroorzaakt grote spanningen tussen hervormde en niet-hervormde karmelieten. Jan van het Kruis wordt gevangen genomen en mishandeld. In die periode, als er alleen nog in duisternis in zijn leven is, ontdekt Juan Gods dragende aanwezigheid. Het wordt voor hem een tijd van genade. In zijn mystieke werken heeft hij hierover geschreven.

De spanningen leiden later in het leven van Juan tot een scheiding tussen de geschoeide en ongeschoeide karmel.

Juan sterft in 1591. In 1675 wordt hij zalig verklaard, en in 1726 volgt zijn heiligverklaring. In 1926 wordt hij door Paus Pius XI tot kerkleraar verheven.