Der Sportverein Hermsdorf e. V. hat seine Wurzeln in einem um 1900 gegründeten Männerturnverein.
1948 wurde mit dem örtlichen Kalkwerk als Trägerbetrieb die Betriebssportgemeinschaft
(BSG) Chemie Hermsdorf aus der Taufe gehoben.
Diese wurde kurz nach ihrer Gründung in BSG Aufbau Hermsdorf umbenannt.
1991 erfolgte die Eintragung in das Vereinsregister beim Amtsgericht Dippoldiswalde
unter dem jetzigen Namen Sportverein Hermsdorf e. V.