Probabilmente il sito sul quale sorge la casaforte del Bergum è lo stesso citato in un documento del 1275 e chiamato "Bergogna". Isolati nella campagna tra Ziracco, Ronchis e Campeglio, poco distanti dalla riva sinistra del Grivò.

Oltre a pertinenze rustiche, il complesso comprende una torre medievale e il fabbricato padronale, con al centro la suggestiva androna voltata cui corrisponde al primo piano la sala impreziosita da affreschi quattrocenteschi; il tutto è compreso entro un recinto murato, un tempo più alto e più ampio.

Importanti lavori di ripristino furono probabilmente effettuati nel 1500, allorché fu murato sulla facciata l'elegante stemma lapideo, sorretto da due angeli, recante questa data.