Das Schloss Starnberg wurde das erste Mal 1244 erwähnt. Bereits 1246 wurde das Schloss von den Wittelsbachern erobert. In den folgenden Jahrhunderten wurde das Schloss nur noch für Feste genutzt. Im 17. Jahrhundert zogen die Wittelsbacher in die anderen Schlösser am Starnberger See. Dieses Schloss wurde nur noch als Depot für Tische, Stühle und Teppiche verwendet. Im 19. Jahrhundert zog das Rentamt ein. Heute wird es vom Finanzamt genutzt.