神乐署建于1420年(明·永乐十八年)，原名神乐观，是祭祀乐“中和韶乐”的教习管理机构，也是祭祀前进行演礼的场所。1743年（清·乾隆八年）改称神乐所，1754年（清·乾隆十九年）改称神乐署。署内有凝禧殿、显佑殿、昭佾（yì）所、穆佾所、伶伦（línglún）堂及袍服库等建筑。