Der Ort Scharfenstein ist bekannt durch die romantische Burg Scharfenstein hoch über dem Fluss Zschopau. Erbaut wurde sie in der ursprünglichen Form um 1250 vermutlich von den Herren von Waldenburg. In ihrer wechselvollen Geschichte wird die Burg verpfändet, verkauft oder erhält auf einem anderen Wege einen neuen Besitzer. Die Herren von Waldenburg hielten das Anwesen bis 1445, dann folgten die Wettiner. Später wurde sie an Heinrich von Einsiedel verkauft. In dieser Familie verblieb sie bis Anfang des 20. Jahrhunderts.

Durch einen Brand in der Nacht vom 1. zum 2. Juni 1921 wurden der gesamte Wohnflügel und ein Teil des Gesellschaftsflügels zerstört. In Anlehnung an die alte Gestalt erfolgte von 1921 bis 1923 der teilweise Wiederaufbau nach Planungen von Bodo Ebhardt.

Heute gehört die Burg zu den "Sehenswerten Drei" mit Schloß Augustusburg und Schloß & Park Lichtenwalde.

Ein weiterer Grund für die Bekanntheit des Ortes ist legendäre Wildschütz Karl Stülpner, der in Scharfenstein am 30. September 1762 geboren wurde.

Romane, volkstümliche Theaterstücke und Erzählungen haben zu einer umfangreichen Legendenbildung beigetragen und dazu geführt, dass Stülpner heute gelegentlich als „sächsische Robin Hood" bezeichnet wird. Er starb am 24. September 1841 ebenfalls in Scharfenstein.