Nesstofa var byggð á árunum 1761 – 1767 sem embættisbústaður landlæknis og er því eitt af elstu steinhúsum landsins. Húsið er hlaðin úr tilhöggnu grjóti á árunum eftir teikningu danska hirðarkitektsins Jacob Fortling. Í Nesstofu hófst opinber lyfsala árið 1772 og þar starfaði einnig ljósmóðir. Húsið komst í einkaeign árið 1834 þegar starfsemi landlæknis og lyfsala flutti til Reykjavíkur. Nesstofa hefur verið hluti af húsasafni Þjóðminjasafns Íslands (Opnast í nýjum vafraglugga) frá árinu 1979. Árið 2009 lauk umfangsmiklum viðgerðum á Nesstofu. Húsið er opið yfir sumartímann. Þar gefst gestum kostur á að kynnast byggingarsögu Nesstofu í samhengi við önnur steinhús í landinu.