En 1669, le secrétariat d’état à la marine et aux colonies est créé et confié à Jean-Baptiste Colbert. Pendant la Révolution française, Louis XVI et ses ministres sont contraints de quitter Versailles pour Paris.

Dès l'automne 1789, le ministère de la Marine déménage à côté du Garde-Meuble Royal. Ses employés y vécurent alors le grondement de la Révolution, à Paris et dans les colonies, notamment porteuse d'une revendication d'égalité des libres de couleurs dans les territoires français, incarné en particulier par l'insurrection des esclaves de Saint-Domingue à partir de 1791 avec le général Toussaint Louverture, qui provoquera la première abolition de 1794.

Le ministère de la Marine occupe finalement à partir de 1806 l'ensemble du bâtiment, ancien garde meuble de la Couronne, qui devient « Hôtel de la Marine », sous le mandat de Denis Decrès, ministre de la Marine et des colonies de 1801 à 1813.

C'est donc bien ici qu’ont été administrées les affaires de la politique de l'Empire colonial français pendant plus d'un siècle. Decrès y supervise l'expédition du général Leclerc de 1802, pour rétablir l'ordre colonial à Saint-Domingue (aujourd’hui Haïti).

Sous la monarchie de Juillet, on y décide en 1831 l'abolition de la traite esclavagiste et en 1833 la levée des discriminations envers les libres de couleurs dans les colonies. Sous la 2nde République, en 1848, Victor Schœlcher, sous-secrétaire d’état aux colonies, y prépare le décret de l’abolition définitive de l’esclavage. L’administration centrale des colonies quitte définitivement le bâtiment en 1894.

L'Hôtel de la Marine est aujourd'hui géré par le Centre des Monuments Nationaux, ouvert au public depuis juin 2021. Le bâtiment accueille également un espace d'exposition, une boutique, un café-restaurant et des espaces de co-working.