El Infante D. Luis de Borbón, hijo menor de Felipe V y de su segunda esposa Isabel de Farnesio, fue encaminado por sus tutores a la carrera eclesiástica. Alcanzó el arzobispado de Toledo  -no por méritos propios, desde luego-, pero al no haber experimentado nunca  vocación religiosa alguna, abandonaba los hábitos antes de cumplir 30 años (en 1754 ?)  con el permiso de su hermano de padre, el rey Fernando VI. 

Regresó a la corte, donde  además de  actuar como mecenas de pintores y músicos, se entregó a una vida tan licenciosa y desenfrenada  que obligó a su hermano Carlos III (sucesor de Fernando VI), a intervenir. Más que los escándalos, al rey le preocupaba la pérdida de los derechos dinásticos de sus hijos  que, dicho sea de paso, no habían nacido en España.  Ante esta situación y para asegurarse que los descendientes bastardos del infante no usurparían los derechos de sus hijos legítimos, Carlos III  concertó el matrimonio morganático de D. Luis con Teresa Vallabriga. De esta unión nacieron tres hijos, a los que, para mayor seguridad, se les dio por primer apellido el de su madre. 

De espíritu conciliador y carácter afable, demostró gran afecto hacia  su madre y confidente, Isabel de Farnesio  ....Anoche supe con el mayor gusto que V.M. está buena, que es lo que me importa más en este mundo....Un hijo que tan de corazón la quiere y la venera....Sabe Dios lo que deseo volver a sus pies para poderla hablar y decir mil cosas que no se pueden escribir ni cifrar.......Residía en la corte e informaba a diario por carta a su madre de lo que acontecía en palacio.

Luis de Borbón, como hemos visto,  casó con Teresa  Vallabriga en 1776. Sus tres hijos eran muy pequeños cuando falleció, en 1785. Carlos III decidió entonces encargar al arzobispo de Toledo la educación de los pequeños y su ingreso en instituciones religiosas fuera de la villa de Madrid. El mayor, llamado Luis como su padre, fue educado  en el palacio episcopal de Toledo donde desarrolló una gran vocación religiosa. Llegó a ser arzobispo, su padre también lo había sido, aunque muy a su pesar. Las dos niñas ingresaron también en internados de Toledo. Una  de ellas contrajo más tarde matrimonio con Manuel Godoy, Príncipe de la Paz. Fue tras este enlace cuando los tres hermanos pudieron anteponer el apellido paterno Borbón al materno Vallabriga.