Le nom de ce palais est associé au roi Frédéric VII et à son épouse morganatique, la comtesse Danner, qu'il épousa en troisièmes noces et à qui il légua le domaine. Celle-ci en fit don à une institution pour jeunes filles en détresse, en exprimant le voeu que l'aile sud des 17e et 18e s., qu'elle avait occupée avec le roi, soit préservée et ouverte au public. L'aile nord date du 15e s. et l'imposante tour d'escalier a été ajoutée par Christian IV. Une troisième aile fut édifiée plus tard.