Cette très vieille forteresse qui ne semble pas atteinte par le poids des ans, a présidé aux destinées noirmoutrines pendant près de mille ans. C'est sans doute l'un des plus vieux châteaux féodaux de france en aussi bon état de conservation. Son architecture militaire et sobre, il est vrai qu'il fut modernisé en 1848 au grand dommage de son aspect médiéval : créneaux et croix de Lorraine antiques, disparurent alors.
Longtemps considéré comme un gros tas de pierres par les Noirmoutrins, dont il fait partie de l'horizon quotidien, mais aussi par les " étrangers ", le caractère exceptionnel de cette citadelle est enfin reconnu de nos jours, ce qui ouvre une ère d'espérence pour sa conservation. L'intérieur a d'ailleurs été entièrement restauré au cours des années soixante-dix sous la houlette - ô combien compétente -de M. Edouard Archambeaud, premier adjoint au maire.
Le donjon fut édifié au XIIè siècle par Pierre de la Garnache, seigneur de l'île, sur l'emplacement d'un " castrum " dépendant de l'abbaye noire : défense précaire dressée sous l'abbatiat de l'abbé Hilbod vers l'an 830. Il était à l'origine protégé par des douves, et il n'est pas certain que des remparts fussent construits dès cette époque., par la suite, une basse-cour fut créée, puis agrandie à plusieurs reprises et cernée de murailles défensives. ce sont ces aménagements successifs, témoins de plusieurs époques, qui ont brisé la ligne des remparts.
Les nombreuses portes et fenêtres murées, témoignent des modifications de détails subies par la forteresse au cours des siècles. Le donjon comporte un rez-de-chaussée et trois étages. A l'origine les quatre tourelles étaient coiffées et le sommet recouvert d'une toiture d'ardoise à forte pente.
La porte d'entrée actuelle est moderne. Elle fut aménagée lors de la reconstruction du rempart sud - détruit par les Hollandais en 1674 - lorsque le gouverneur vint habiter le château, plus exactement le logis situé dans la cour.
Le château de Noirmoutier est lié à l'histoire de l'île. Il subit bien des assauts, avec des fortunes diverses, mais le plus souvent il protégea efficacement la vie des insulaires, qui assistaient de ce point de défense passive, à la destruction de leurs biens. Constamment occupé par des troupes, il fut entretenu et ainsi conservé. Sous la Révolution il servit de prison aux Vendéens, puis en 1871 aux insurgés de la Commune. Au début de la guerre 14-18, des étrangers de vingt-six nations y furent internés pour la plupart des étudiants de grande valeur " amoureux " de la France. Parmi eux, le Hongrois Aladar Kuncz, le célèbre auteur du " Monastère Noir ". En 1940, il donna asile à des prisonniers de droit commun. Centre de ravitaillement allemand pendant l'occupation, il servit en 1945 de prison à ses anciens locataires.