El emperador tuvo que ver muchas cosas a lo largo de sus 68 años de reinado, la más dolorosa, seguramente, fue la muerte de su hijo Rodolfo, que al morir, dejaba sin heredero a Francisco José y al Imperio.
Así, Francisco Fernando de Austria, sobrino del emperador, se convertía en el heredero. El 28 de junio de 1914, Gavrilo Princip, atentó en Sarajevo contra Fernando de Austria y su esposa, y nuevamente, Francisco José, perdió otro heredero.
Este hecho hizo que una potencia tras otra se declarara la guerra en una Europa ya revuelta que necesitaba una excusa para estallar, comenzando así, la Primera Guerra Mundial.
El viejo emperador Francisco José murió en plena guerra, el 21 de noviembre de 1916, a los 87 años de edad, en el mismo lugar que lo vio nacer, el Palacio de Schönbrunn, en Viena.
Fue enterrado como es la costumbre de la corte vienesa en la Iglesia de los capuchinos, en la Cripta Imperial de Viena.
Se le trasladó en una carroza fúnebre negra tirada por seis caballos negros, precedida por 200 militares a caballo.