Zámek Diváky představuje pozdně barokní stavbu, jejíž autorem je význačný barokní stavitel František Antonín Grimm, se řadí se mezi přední stavby své doby. Původně sloužil jako klášter Cella sanctae Mariae, kterému se podle jeho první představené Herburgy říkalo herburský. Roku 1578 se majetku ujímá jezuitský řád. Římská akta jezuitského archívu prozrazují ukončení obnovy jezuitského zámku v Divákách roce 1747. Již roku 1789 kupuje zámek Anton Friedrich von Mayern a ještě stejného roku je prodává Francoisovi de Langendonck. Ani tento nový majitel však v Divákách nezůstal příliš dlouho. Již dalšího roku je prodává kněžně Karolíně Lichtenstein, rozené hraběnce Manderscheid - Blankenheim.  Od roku 1827 vlastní divácké panství Charles Louis vic de Fribert, syn Karoliny a Francoise de Langendoncka, který je držel až do své smrti v roce 1874 poté zdědila panství neteř jeho manželky Everildy hraběnky Esterházy de Galántha Ottilie hraběnka Murray. Za života Charlese Friberta vzniká na okraji svažitého lesoparku jihozápadně od zámku malá rodinná hrobka s kaplí, vystavěná roku 1832 a dalšího roku slavnostně vysvěcená s povolením sloužit v ní mše. Hrobka byla využívána také dalšími majiteli panství. Roku 1889 prodává Ottilie Murray Diváky své neteři Almerii Teresii hraběnce Saliz-Zizers a jejímu manželovi Karl Alexander von Levetzow ti drželi Diváky až do roku 1918, kdy se ocitly po osamostatnění Československé republiky na krátkou dobu v záboru. Do majetku Levetzowů se navrací zámek až roku 1920, jejich novým držitelem se stává Karlův syn Paul Günther von Levetzow. V období protektorátu byli na zámku cvičeni příslušníci Hitlerjugend, kteří zde měli své výcvikové středisko.