Sul molo Gabriel Péri, nell’immediata vicinanza dell’Ufficio di Turismo, si erge un imponente edificio denominato “Il Castello”. La sua costruzione sulla spiaggia, a pochi metri della vecchia diga, è stata terminata nel 1881 e dopo quarant’anni di lavoro. Il suo proprietario di allora, il Sig. Honnoraty, ricco erborista di Tolone (al quale dobbiamo l’introduzione dei cachi in Francia) si imbarcava spesso a Le Lavandou per recarsi a Port-Cros alla ricerca di piante officinali. Grande viaggiatore, si ispirò ad uno stile architettonico nato sulle rive del Lago di Garda, il quale si distingue nettamente dalle costruzioni provenzali. Le pietre provengono da Tourris e alcune mura raggiungono uno spessore di oltre 80 cm.
'L’edificio fu completato da una terrazza nel 1930. All’inizio del secolo, “Il Castello” diventò una pensione familiare, prima di prendere il nome di “Villa Louise” ed accogliere un gruppo di religiose durante la Seconda Guerra mondiale. In seguito, è stato trasformato in ristorante. L’apertura di una rete viaria e la sistemazione del porto lo hanno, in qualche modo, allontanato dal mare. Simbolo maggiore di Le Lavandou – lo si ritrova su tutte le cartoline d’epoca –, “Il Castello” è diventato nel 2007 “La Casa di Le Lavandou” e ospita ormai vari servizi comunali. Il Comune si è fissato come obiettivo di farne fra poco il vero Ambasciatore del Lavandou.