La grande bâtisse fut construite en 1861 par un riche propriétaire puis transformée en une magnanerie et servit d’élevage pour les vers à soie. Tout le dernier étage de la maison était réservé à cet usage.
Après le déclin de la soie, la maison du Portel des Arnaud, rentra dans la famille Arnaud et la cave fut créée.
Des cuves à vins faïencées ou en béton armé furent construites au rez de chaussée.
Des bureaux furent créés et loués aux premiers étages aux propriétaires de la mine de plomb de Durfort . Les bureaux de la mine vacants suite à la faillite de l’entreprise minière, servirent à loger les soldats allemands qui restèrent là pendant la durée de la guerre.