На месте нынешнего замка Вилландри был форт XII века, перестроенный полностью в XIV веке. Жан Бретон сохранил старые фундаменты, окруженные крепостными рвами, и возвел на них новые стены. Строительство было закончено в 1536 году.
Через 40 лет замок был реконструирован, добавлены балконы, украшены окна. В начале ХХ века замок отреставрировали. Главный флигель и два перпендикулярных боковых с открытыми нижними аркадами следуют классическим принципам симметрии, однако на их структуру повлиял фундамент старого замка: боковые флигели имеют разную длину и не совсем параллельны.
Сады Вилландри сочетают две традиции: с одной стороны – готическую, с цветами, лекарственными и пищевыми травами, наилучшие образцы которой представлены в монастырях или частных поместьях, а с другой стороны – традицию итальянскую, более декоративную и эстетическую.
Сады Вилландри делятся на три уровня: водный сад на самом верху окружен старыми лимонными деревьями; цветочный сад разбит на уровне замка; а под ним расположен самый большой в мире регулярный сад-огород. Есть еще и небольшой сад для детей. За год 8 садовников, трудящихся с утра до вечера, успевают посадить более 60 тысяч овощей и 45 тысяч цветочных растений, чтобы продемонстрировать сад вой всей красе.