I Bergskrivergården har det blitt drevet advokatvirksomhet siden 1930-tallet. Da var det høyesterettsadvokat Kristian Nauf som drev virksomhet; advokat Fredrik Neumanns oldefar – mannen som sørget for at gården på folkemunnet fikk navnet Naufgården. Huset ble fredet så tidlig som i 1928. Bygningens eldste deler er datert helt tilbake til 1630-tallet.

I tohundre år ble huset brukt som bolig og kontor for direktøren
ved Sølvverket. Han var den øverste sjefen for all bergverksdrift i
Norge. Etter tysk mønster ble tittelen «Oberberghauptmann»
benyttet på direktøren. Innunder hans ansvar hørte blant annet
plikten til å føre domstolenes rettsprotokoller og bergverkets
regnskaper. Derav navnet Bergskrivergården.