Ausgangspunkt und Keimzelle der Ortsbesiedelung war das Schloss, besser gesagt, die Burg. Der Name "Schloss" ist zunächst irreführend, denn man denkt dabei an die prunkvolle Residenz eines weltlichen oder geistlichen Fürsten. Ein solcher hat hier aber nicht hofgehalten. Vielmehr wohnten hier die Vertreter der jeweiligen Landesherren oder Regierungen, wie Richter, Burghauptleute und Pfleger. Später waren es Landrichter, Bezirksamtsmänner und Landräte, die von hier aus die Verwaltung ausübten.
Die Anfänge der Waldmünchner Burg gehen auf eine Befestigungsanlage der Chamer Marktgrafen um das Jahr 1000 zurück. Die heute noch sichtbaren Gebäude, vor allem deren Grundmauern und Gewölbe, dürften jedoch erst aus dem 15. Jahrhundert stammen, als die bisherige Schutz- und Fliehburg zum Verwaltungssitz der herzöglichen und kurfürstlichen Pfleger ausgebaut wurde.
- Burghauptleute, Kastner und Richter seit 1000
- Kurpfälzisches Pflegeamt seit 1510
- Kurbayerisches Pflegeamt seit 1628
- Königlich-bayerisches Landgericht seit 1803
- Bezirksamt seit 1862
- Landratsamt von 1939 bis 1972
- Umbau zur Jugendbildungsstaette von 1981 bis 1983
- 1988: Anerkennung als Bayerische Jugendbildungsstätte
- 1995: Die Jugendbildungsstätte der KAB & CAJ wird zugleich Jugendbildungsstätte für den Bezirk Oberpfalz