Le site fortifié, situé idéalement pour commander le passage vers la Suisse, existe depuis le Haut Moyen-Age. Témoin de nombreux conflits territoriaux jusqu'à l'intégration de la Franche-Comté au Royaume de France par le traité de Nimègue, les fortifications sont entièrement repensées et développées par Vauban à la fin du XVIIe siècle. A la fin du XVIIIème siècle, il sert déjà de prison (mais dans des conditions très aménagées) à Mirabeau (1775).

En 1802, Toussaint Louverture est emprisonné sur ordre de Bonaparte dans ce fort transformé en prison d'Etat, où avait aussi séjourné Mirabeau, dans des conditions bien plus favorables. En prison, Toussaint est soumis à un régime sévère, isolé de sa famille, sans possibilité de sortir de sa cellule. Des briques en obstruaient même l'unique fenêtre, ne laissant qu'un petit espace pour la lumière du jour. Ces précautions empêcheront son évasion. Malade, Toussaint Louverture meurt dans sa cellule, le 7 avril 1803, cinq mois après son arrivée.

Toussaint n'a pas été le seul chef militaire de Saint-Domingue enfermé, puisque le général Rigaud, chef de la résistance à l'expédition Leclerc dans le Sud, y séjournera également, mais pour une courte durée.

Haut lieu d’histoire et d’architecture militaire, le château de Joux, classé monument historique depuis 1996, est un monument emblématique de la Franche-Comté. Le projet de restauration et de valorisation patrimoniale permettra de restituer toutes les dimensions historiques du site, notamment en évoquant l'histoire de la Révolution haïtienne, dans des murs où fut emprisonné Toussaint Louverture.

Dès 1901, une plaque commémorative est apposée, puis en 1954,  un mémorial est également érigé sur le versant est du Fort de Joux à l'initiative de l'Etat haïtien. En 2003, d'importantes célébrations marquent le bicentenaire de la mort de Louverture.

En 2014, une nouvelle plaque commémorative a été apposée dans la cellule de Toussaint Louverture, sous un buste à son effigie, offert par la République d'Haïti.