První zmínka o hradu Rabštejn pochází z roku 1269. Pověst praví, že hrad zbudoval cizinec pomocí kouzelného prstenu. Hrad pak daroval knížeti, který prsten našel na lovu v útrobách zastřeleného havrana. Na památku této události byl hrad pojmenován Rabenstejn, tedy Havraní kámen.
O rozšíření hradu se postaral Oldřich Pluh z Rabštejna. Záhy o hrad přišel, protože se zapojil do odboje proti Karlovi IV. Panovník zde rád pobýval. Postupně se zde vystřídali Šlikové, Gutštejnové a Kolovratové.
Roku 1524 nechal Lorenz Šlik postavit ve východní části hradu renesanční zámek. Vedle zámku leží klášter, který v dnešní době slouží jako hotel. Z hradu se dochovaly zbytky dvou válcových věží a zdiva. Z vrcholu, kde stojí zřícenina hradu se otvírá pohled na působivé panorama.
