Fue enviado a la portuguesa Universidad de Coimbra en 1548. Su padre Juan de Anchieta era vasco y primo de San Ignacio de Loyola. Su madre era hija de Sebastián de Llerena, judío converso del reino de Castilla. Una vez en Coimbra, José ingresó en la Compañía de Jesús.
Sus excesos en la penitencia y las muchas horas de oración de rodillas le causaron una dolencia permanente en la columna vertebral. Pidió ser enviado al Brasil, pues, ya que “en estas partes su enfermedad era incurable, le dejasen ir a morir entre los infieles, donde podría servir por lo menos para enseñar a los niños”.
Según la práctica misionera de entonces, José se dispuso a aprender la lengua indígena del lugar, en este caso la lengua tupí, en la que llegaría a escribir versos e incluso obras de teatro. Un día, habiéndose adentrado en la selva, se encontró con unos indios que torturaban a un enemigo. Entonces, aplicando su conocimiento de la lengua amerindia, empezó a evangelizar a los captores hasta conseguir que soltaran a su cautivo. Con 21 años se dice que realizaba prodigios que fascinaban a los demás jesuitas, como levitar al orar ante la Virgen, o iluminarse la choza en la que se hallaba orando ante imágenes sagradas que incluso le respondían.
José siempre ejercería como pacificador entre los portugueses y las tribus de la Amazonia. Cierto día, Anchieta decidió celebrar la Eucaristía ante un grupo de indios que les amenazaban, quienes quedaron admirados al leérseles en su lengua el texto de la Biblia y oír la consiguiente homilía. Tras esto, José utilizaría sus dotes de poeta para componer motetes que cantarían los mismos indios en las ceremonias cristianas. Se hizo tan famoso que muchas tribus pugnaban por acogerlo e incluso, una vez, apropiárselo por la fuerza, pero él pudo disuadirlos.
Con 49 años había conseguido reputación de santidad en la colonia brasileña, donde muchos acudían a él en busca de ayuda espiritual y curación. A partir de 1588 ya era considerado “el apóstol del Brasil,” amén de celebrado escritor: escribió un libro de medicina, de fauna y flora de Brasil y un libro de poesía y de cánticos.
El 9 de junio de 1597 moriría en la aldea de Reritiba, llamada posteriormente “Anchieta” en su honor. Él mismo había predicho el día y la hora de su muerte.