Se sabe que a la edad de veinticinco años se retiró a una gruta del Monte Amiata, situada en el territorio de Siena, cerca del lugar en donde, al parecer, vivió por un tiempo también entregado a la oración san Felipe Benicio.
Benincasa sobresale entre aquellos hombres que el Espíritu Santo ha suscitado con frecuencia en la Orden de los Siervos de María, y que, entregados a la contemplación han tenido un amor especial por la soledad y el silencio.
Fray Miguel Poccianti, quien en el siglo XVII escribió la Crónica de la Orden de la bienaventurada Virgen María, al narrar la vida del beato Benincasa, dice, entre otras cosas: “Si lo asaltaba el espíritu de fornicación oraba a Dios, no para que lo apartara de la lucha, sino para que lo fortaleciera. Si enfermaba, no permitía que nadie se le acercara diciendo: “Es un fuego que se me ha puesto para quitarme la herrumbre”. Si la gente que lo visitaba le daba limosna, no la admitía porque le bastaba para vivir sólo un poco de pan y agua, y decía ‘Nuestro adversario es vencido con mayor facilidad por aquellos que no tienen nada’. Más aún, aquellos que le ofrecían lo necesario para su sustento. Les daba algún objeto elaborado con sus propias manos”. Con tales palabras prescindiendo del gesto ampuloso que emplea el hagiógrafo, podemos representarnos una viva imagen del hombre que vivió en soledad, entregado a la oración y a la penitencia, y ganándose el frugal alimento con el trabajo de sus manos.
El año 1426, a los cincuenta años de edad, Benincasa subía al reino celestial. Su cuerpo recibió honrosa sepultura en la ciudad de Monticchiello, no muy distante de al gruta donde el Beato había vivido, en la iglesia dedicada a san Martín; junto a ella el pueblo, en señal de gratitud, levantó un convento para los Siervos. Los restos del beato Benincasa, después de muchas vicisitudes, se guardan y veneran actualmente en la iglesia parroquial de san Leonardo.