Le Château tire son nom de sa situation géographique sur la colline de Cos et du nom de François Labory, propriétaire jusqu’en 1845. Monsieur d’Estournel en fera ensuite l’acquisition avant de le revendre à un banquier anglais, Charles Martyns en 1852. C’est finalement George Weber qui rachète la propriété dans les années trente, avant de la léguer à sa fille et son gendre, François Audoy en 1959.
 
Le vignoble de 18 ha est maintenant dirigé par Bernard Audoy.