Hvalfangsten på sydlige breddegrader ved begynnelsen av 1900-tallet, skapte oppsving i byen, og behov for økt hotellkapasitet førte til etablering av Hotell Atlantic.
Personene bak byggingen tok også initiativ til å skaffe byen hensiktsmessige lokaler for " klub- og børsvirksomhet " som det heter i firma-anmeldelsen og Sandefjords Klubselskap ble stiftet den 8.mai 1914.
Lokalene i Hotell Atlantic ble med tiden for små. Dette førte til at sentrale klubbmedlemmer engasjerte seg i byggingen av Hvalfangstens Hus (Park Hotell) som sto ferdig i 1959.
Nye hensiktsmessige lokaler for klubben ble innpasset der.
Det arrangeres ukentlig tilstelninger, og tradisjonen med arrangement av nyttårsball fra det første ballet i 1919 er videreført, men avholdes ikke hvert år.
Lokalene benyttes også av medlemmene til bridge og andre mer uformelle arrangementer og sammenkomster.