Les Bernon sont une famille rochelaise ancienne et importante pour la ville. En effet, un membre de la famille sera maire de La Rochelle en 1398. L'une des filles Bernon épouse Alcide d'Orbigny, président de la chambre du commerce puis également maire de La Rochelle en 1893.

Leur fortune s'étant accrue au XVIIIème siècle par le commerce triangulaire, les Bernon se font construire cet hôtel particulier sur le plan des demeures parisiennes. Sur la façade, on peut distinguer des fèves de cacao sculptées, évoquant l'origine de la richesse de cette famille.

La Rochelle et l'esclavage (XVIIème-XVIIIème siècles)

La Rochelle figure parmi les ports négriers les plus importants de France. Deuxième en termes de nombre d'expéditions, juste après Nantes et juste avant Bordeaux, les navires d'armateurs sont nombreux au départ de la ville. Plus de 420 d'entre eux se lancèrent sur les côtes africaines pour déporter plus de cent trente mille esclaves dans les colonies, notamment à Saint-Domingue.

Le sucre brut des Antilles, raffiné à La Rochelle, fit la fortune des commerçants et planteurs rochelais qui édifièrent de somptueux hôtels particuliers. Durant la seconde moitié du XVIIIème siècle, cette économie sucrière était telle qu'elle faisait vivre l'ensemble des habitants en leur fournissant chacun un emploi. Le déclin du commerce s'opère lors de la révolution de Saint-Domingue, en 1791, menée par Toussaint Louverture.