Situé à mi-chemin entre les îles d’Aix et d’Oléron,
Fort-Boyard a été conçu avant tout pour protéger la rade
de l’île d’Aix et l’arsenal royal de Rochefort.
La portée des canons de l’époque ne permettait pas
de croiser le tir entre le fort de la rade sur Aix
et la batterie des Saumonards sur Oléron.
Entre les deux îles se trouve la longe de Boyard.
Les hollandais avaient cartographié l’endroit « Banjaert »,
banc de sable en néerlandais, qui donnera Boyard plus tard.

Le projet de construction du Fort Boyard
remonte au XVIIème siècle.
Dès 1666, la création de l’arsenal de Rochefort, ordonnée
par Colbert, impose à cette zone une protection militaire.
La France sort de la guerre de Sept ans avec l’Angleterre
et la défense de nos côtes est primordiale.
Mais face à de très grosses difficultés techniques,
l’idée sera maintes fois repoussée.
Le grand Vauban lui-même s’était avoué impuissant
face à ce défit et s’adressa à Louis XIV en ces termes :
« Sire, il serait plus facile de saisir la lune avec les dents
que de tenter en cet endroit pareille besogne ».

Il faudra attendre le début du XIXème siècle pour que le projet soit relancé. En1801, une commission mixte composée du Génie, de la Marine et d’ingénieurs des Ponts et Chaussées remet à Napoléon Bonaparte un rapport.
Dans ce dernier il est préconisé de bâtir sur la longe de Boyard un « vaisseau de pierres » en suivant les idées du marquis de Montalembert en matière de fortification.
En 1803, le premier consul Bonaparte approuvait le projet.
La même année, les magasins nécessaires au chantier et les logements pour les ouvriers sont implantés
sur l’embouchure du chenal de la Perrotine, sur la côte Est de l’île d’Oléron. Boyardville voyait le jour.
Les travaux d’enrochement à pierres-perdues débutent en 1804.
Des carrières doivent être ouvertes à proximité, notamment à la pointe de Coudepont sur l’île d’Aix.
Mais les difficultés sont immenses, entre l’enrochement qui s’affaisse, les violentes tempêtes
et la présence de l’ennemi anglais.

Le chantier est arrêté alors que plus de 75000 m3 de pierres ont déjà été déversés sur le banc de sable.
Il reprend en 1809, sur les bases d’une construction moins importante, mais il sera de nouveau suspendu
la même année après que les anglais aient détruit l’escadre de Rochefort en rade d’Aix avec des brulots.
3 500 000 francs ont déjà été investis dans le projet.
Trente ans plus tard, sous Louis-Philippe, le regain de tension entre la France et l’Angleterre donne une nouvelle impulsion à la construction du Fort. En 1848, le socle est édifié. La construction du Fort, lui-même,
va prendre  plus de dix ans. Le coût total des travaux est estimé à près de trois millions de francs.
Les fondations sont protégées par une ceinture de granit de Chausey. La partie supérieure est réalisée en pierres
des carrières de Crazannes, les voutes et l’intérieur en pierres de Saint-Savinien, les embrasures en briques.
Les travaux s’achèvent par la vigie, servant de sémaphore, en 1857.
Deux ans plus tard le Fort est doté d’un brise-lame au nord et d’un havre de débarquement au sud.

Dimensions : 68 mètres de long, 32 mètres de large et 20 mètres de haut.
Le fort devait être occupé par 250 soldats et armé de 74 canons,
autant de pièces qu’un navire de guerre à trois ponts.
Il n’en recevra qu’une trentaine. Au milieu du XIXème siècle les progrès
de l’artillerie (canons à âme rayée, remplacement du boulet par l’obus)
rendent le Fort, à peine achevé, obsolète.
Il est désormais possible de croiser le tir entre Oléron et Aix.
A la fin du Second Empire, il devient une prison militaire.
On y enferme des soldats prussiens et autrichiens,
plus tard prison d’état pour des communards, dont Louise Michel
et Henri Rochefort avant leur transfert au bagne de Nouvelle-Calédonie.

Au début du XXème siècle, laissé à l’abandon, il est la proie de pillards. 
En 1950, il est inscrit à l’Inventaire Supplémentaire des monuments historiques.

Il est acquis en 1962 par un particulier lors de sa mise aux enchères par les domaines pour 7500 francs.
En 1967, il sert de décor à la fin du film « les aventuriers » de Robert Enrico, avec Lino Ventura et Alain Delon.
Le concepteur d’émissions télévisées Jacques Antoine y tourne  le pilote du jeu « la chasse aux trésors »
animé par Philippe Gildas et Philippe de Dieuleveult. L’épisode est diffusé le 6 septembre 1981.
Jacques Antoine s’en porte finalement acquéreur en 1988 pour 1,5 million de francs et le revend pour un franc symbolique au Conseil Général de Charente-Maritime. Il se réserve l’exclusivité de l’exploitation du Fort. 
Jacques Antoine, Jean-Pierre Mitrecey et Pierre Launay sont à l’origine du jeu « les clés de Fort Boyard ».
Le premier épisode passe à l’antenne le 7 juillet 1990 et le concept sera par la suite vendu
à une trentaine de pays différents rendant le Fort Boyard célèbre dans le monde entier.
Juste retour des choses pour celui que l’on a longtemps surnommé « le Fort de l’inutile » !