Er waren diverse kegelclubs die gebruik maakten van de baan van Het Park, o.a. "De Gezelligheid" en "Zonder ballen geen plezier". De gouverneur kwam ook iedere donderdagavond kegelen, in gezelschap van enkele notabelen. Toen met de oprichting van de sociëteit het Militaire Park verenigingsterrein geworden was, konden anderen dan leden van de Buiten Sociëteit en hun gezinnen het Militaire Park niet meer bezoeken. Dit had tevens tot gevolg dat slechts een beperkt deel van de bevolking van Paramaribo kon genieten van de muziekuitvoeringen die elke zondagmiddag in de muziektent van Het Park werden gegeven.

Door het Bestuur werd op 17 mei 1885 dan ook besloten om deze muziekuitvoeringen, natuurlijk met medewerking van de majoor-commandant der troepen, in plaats van in de muziektent, op het Gouvernementsplein te doen plaatsvinden.

De Militaire Kapel.

In vroeger dagen, in ieder geval vóór de Eerste Wereldoorlog, waren de muziekuitvoeringen op het Gouvernementsplein de enige attractie die Paramaribo zijn bewoners op de zondagmiddag kon bieden. Vastgesteld mag worden dat dankzij de oprichting van de Buiten Sociëteit "Het Park" de troepenmacht in Suriname haar muziekkorps heeft kunnen behouden. En daarmee heeft Het Park tevens een grote dienst aan de bevolking van Paramaribo bewezen. Zou men zich het leven in Paramaribo in vroeger dagen zonder de militaire muziek kunnen voorstellen?

De militaire kapel, die als zij zich deed horen onmiddellijk voor een goede stemming zorgde, nam een aparte plaats in de harten van alle bewoners. Een receptie of ander feest zonder muziek was toen niet denkbaar. Een dergelijke receptie zou niet deftig, niet "in stijl" zijn. Dankzij Het Park was de militaire kapel ingesteld op het maken van prima dansmuziek, zowel met blaas- als met strijkinstrumenten. Vaak werd in die jaren ook de opmerking gemaakt dat indien opstootjes of ongeregeldheden zich zouden voordoen het niet nodig was de politie of de militairen daarheen te dirigeren om de orde te herstellen. Volstaan zou kunnen worden met de militaire muziek te laten uittrekken: "Alles loopt er meteen achteraan, ook de ordeverstoorders." Dat het muziekkorps in 1903 aanleiding heeft gevonden om bij het 25-jarig bestaan van de Buiten Sociëteit de stichter daarvan te huldigen, zal dan ook geen verwondering baren. De heer Stumph heeft inderdaad met het nemen van zijn initiatief voor zowel de Surinaamse samenleving als voor het muziekkorps een bijzonder verdienstelijke daad verricht.

De herinnering aan die huldiging wordt bewaard in de vorm van een koperen plaat die aanvankelijk aan een lantaarnpaal midden op het Parkterrein was bevestigd, maar thans aan de buitenwand van het verenigingsgebouw is aangebracht.