Von den drei Burgengipfeln, die die Stadt Annweiler umgeben, nimmt die Burgruine Scharfenberg neben den Burgruinen Trifels und Anebos den südlichsten ein. Als Reichsburg in der ersten Hälfte des 12. Jh. erbaut, war sie Teil der Burgenpolitik von Friedrich II. dem Einäugigen, der auch als Herzog von Schwaben und Vater von Kaiser Friedrich Barbarossa bekannt war. Bewohnt wurde die Burg Scharfenberg von dem gleichnamigen Reichsministerialengeschlecht, dessen berühmtestes Mitglied „Konrad“ zu Beginn des 13. Jh. den Reichskanzler stellte und auch Bischof von Speyer und Metz war.

Als die Scharfenberger im 14. Jh. ausstarben, ging die Burg mitsamt der Stadt Annweiler und der Burg Trifels in den Besitz der Kurpfalz über. Während der Bauernkriege 1525 wurde Scharfenberg zerstört und dem Verfall  preisgegeben.Die Überreste der Burg zeigen sich heute in einem gut erhaltenen Bergfried, der um 1200 erbaut worden ist und aufgrund seiner Buckelquaderummantelung der staufischen Baukunst zu zuschreiben ist. Der Palas weist noch wenige Mauerreste sowie ein Erkerfenster auf. Vom Burgplateau aus hat man einen traumhaften Blick in die Umgebung. Neben der Burgruine Anebos sieht man auch fünf, der Burgruine Scharfenstein vorgelagerte, Sandsteinfelsen, die auch Münzfelsen genannt werden. Man geht davon aus, dass auf ihnen jeweils eine Burgwarte stand.