Gdy patrzy się na wapienne wzgórze Rabsztyna, od razu przychodzi na myśl, że to miejsce zostało zaprojektowane z myślą o budowie twierdzy. W połowie XIV wieku powstał tam zamek rycerski, który z czasem rozrósł się w ogromny kompleks składający się z zamku górnego, średniego, dolnego oraz renesansowego z przełomu XVI i XVII wieku. Właściciele zamku, szlachta, często się zmieniali, lecz od XVIII wieku zamek zaczął tracić na znaczeniu i stopniowo popadał w ruinę. W celu uzyskania materiałów budowlanych rozebrano mury zamku, a okrągła wieża runęła po eksplozji.

Obecnie zamek jest w stanie ruiny, ale prowadzone są tu prace konserwatorskie. Część murów, dwa mosty i brama wjazdowa zostały już odbudowane. W ostatnich latach zamek był niedostępny dla turystów, ale wkrótce ma zostać ponownie otwarty. Ciekawostką będzie możliwość zwiedzenia częściowo wyremontowanego zamku górnego i wieży z tarasem widokowym, balkonem oraz małym więzieniem.