Después de amasar una gran fortuna y de convertirse en valido de Felipe IV, los últimos años del conde - duque de Olivares transcurrieron en el destierro.
A esta situación llegó a causa del corpus de sangre en Cataluña (1640), que desencadenó en la secesión catalana que no se apaciguó hasta 1642 y la insurrección de Portugal en 1640 y su independencia.
Así, tras estos fracasos, fue destituído de su cargo y se instaló en su residencia de Loeches (Madrid) y más tarde el rey le envió a Toro (Zamora) donde murió el 22 de julio de 1645.