这座宫殿建筑的历史开始于1443年，当时在施普雷河两岸为选帝侯弗里德里希二世建了一座城堡。后来这座宫殿进行了改建，到16世纪时，宫殿已是一座直角形建筑，边长分别为167米和115米，高为33米。这座建筑有5座大门，共4层，1283个房间。建筑师泰斯从广场方向为城堡添建了一座新的侧楼，在1580~1595年选帝侯约翰·乔治期间完成了东面建筑的修建工作，并建成了两个内院。

    这个遥远年代的建筑到20世纪初时只保存下来一部分，在1699~1716年间，这一部分被纳入了由安·施吕特尔、冯·该泰和贝蒙三位建筑师设计的建筑群。这一古老的部分在很长时间里都是城堡东面与施普雷河右岸相邻的优美如画的正面。这部分中特别有趣之处是中世纪的圆形塔楼“绿冠”。

    新建的宫殿三个正面各有特色。安·施吕特尔建造的北正面给人的印象是阴暗寒冷的。但后来建造的有霍亨索伦王朝祖先青铜群像的平台冲淡了这种印象。城堡主门旁边是罗马皇帝塞普提米乌斯·塞维鲁凯旋门的仿制品。装饰它的是两组青铜雕像“驯马的骑士”(雕塑家克洛特的作品)，这是俄国沙皇尼古拉一世赠送的礼物。