De Kazerne werd in 1876 gebouwd als legerplaats voor 10 officieren, en 270 onderofficieren en manschappen. Toen Pampus klaar was in 1897 werden de soldaten die daar dienst moesten doen, tijdens hun rustperiode gelegerd in de Kazerne in Muiden. Het gebouw bestond uit twee verdiepingen en bevatte 36 ruimtes, waaronder een bakkerij, een keuken, slaapzalen, magazijn voor eten en drinken en een ziekenboeg. In de mobilisaties van 1914-1918 en 1939-1940 hebben er ook militairen gelegen. Het gebouw is 70 meter breed en 10 meter diep. Alleen de voorkant met de vele ramen is te zien. De achterkant is bedekt met aarde, omdat dat kogels goed tegenhield. De kazerne hoort bij de forten rond Muiden, die alle bedekt zijn met aarde en dus voor de vijand moeilijk herkenbaar in het landschap.
Het gebouw is nu een rijksmonument. Het heeft verschillende functies: kinderopvang, bibliotheek, VVV-kantoor, vergaderzalen van de gemeenteraad, trouwlocatie.