I 1859 stiftet Asbjørn Kloster den første avholdslosje i Norge, "Stavanger yngre Afholdenhedsforening", senere "Det Norske Totalafholdsselkab". Hans navn er nok bakgrunnen for navnet som ennå brukes på huset vårt. Når huset ble bygget, og hvor lenge avholdslosjen brukte det, vet ikke undertegnede.
Huset fungerte som gymnastikksal for Østsiden skole i en lengre periode, fram til det ble bygget en ny gymsal for skolen. I denne perioden hadde Porsgrunn Guttekorps sine øvelser i huset. Porsgrunn Janitsjarorkester øvde ulike andre steder i samme periode. I 1983 ble det bygd ny gymsal for Østsiden skole og da fikk PJO også plass i Asbjørn Kloster.
En oppussings-dugnad i 1986 fikk fatale følger for huset. Da korpsmedlemmene gikk hjem for kvelden ulmet det i en vegg, etter bruk av en varmepistol. Utpå natten slo ulmingen ut i åpen flamme. En av naboene oppdaget at det brant. Brannvesenet ble varslet. Også korpsmedlemmer ble vekket, og deltok i bergingsarbeidet. En del noter og instrumenter ble båret ned fra loftet før flammene fikk overtaket, og huset brant helt ned.
Huset ble bygget opp igjen, med forsikringspenger, og med dugnadsinnsats fra korpsene. I dag framstår det som svært godt egnet som tilholdssted for brukerne:
Les om da huset ble tatt i bruk igjen.