La terre de Nieul échoie vers 1370 à Jean Chaudrier, maire de La Rochelle, qui s’est illustré dans la guerre contre les Anglais. C’est sans doute en cette fin du XIV° siècle que le château s’est bâti. De l’enceinte polygonale franquée de tours rectangulaires ne subsiste qu’un segment comprenant l’entrée de la basse cour. Un double pont-levis à flèche récemment reconstitué dessert le portail principal et une poterne, dont le passage est couvert d’un coupole.