Na místě, kde je dnes zámek, stávala od počátku 15. století tvrz, která často měnila majitele. V roce 1677 ji koupili Kaunicové, kteří ji nechali zbořit a Jan Adolf Kaunic tu v letech 1728-1737 nechal vystavět barokní zámek. Na místě nynější fary severně od zámku byly v roce 1858 při upravování parku nalezeny základy někdejšího dvora.
   Tam, kde je nyní hlavní vchod do parku (směrem k Osovci), stávala kdysi věž. Když byla v roce 1864 zbořena, našel se v její báni krátký spisek, v němž se udává, že věž byla stavěna v roce 1717.
   Jméno stavitele zámku není přesně známo, ale je nanejvýš pravděpodobné, že jím byl Anselmo Lurago, který po smrti Bartolomea Scottiho převzal a dokončil stavbu nového kostela v Osově. Tomu odpovídá i podobnost slohu kupříkladu s Kinským palácem na Starém Městě, který je rovněž dílem Luragovým.
   Rozsáhlou trojkřídlou jednopatrovou budovu obklopoval francouzský park se složitým systémem cest.
   Při osovském zámku býval krajský úřad kraje Podbrdského, protože Kaunicové byli jeho představenými.
   Kromě hejtmana nacházeli se tu hofmistr, dvorní kuchař, dvorní zahradník, podkoní a také dvorní malíř de Pini, zámecký kaplan a dvorní šašek Pimfinger. Kounicové drželi Osov do roku 1804. Do té doby byla ještě provedena rokoková úprava zámku.
   V roce 1840 přechází celý majetek osovsko-všeradický na Josefinu hraběnku Schwarzenbergovou, rozenou z Mitrovic.
   V roce 1860 zapsal P. Poustka do farní kroniky: "Od 10. srpna byla na Vosově J. O. Kněžna Josefina ze Schwarzenbergu. Zámek dosud zanedbaný ba zpustlý vnitř i zevně letos obnoven jest."
   Přestože v roce 1924 přišli Schwarzenbergové pozemkovou reformou o značnou část osovského panství, zámek byl součástí tzv. zbytkového jmění, které si podrželi až do roku 1930, kdy ho od nich odkoupil komerční rada Václav Palivec. Ten zde v roce 1932 provedl řadu změn. Hlavní vchod byl umístěn ze západní strany, bylo instalováno ústřední topění, elektrické osvětlení a připraveno potrubí pro vodovod. Nově upraven byl i park.
   Václav Palivec učinil své sídlo jakýmsi kulturním centrem, kde se setkávali významní lidé různých profesí. K častým hostům patřil Karel Čapek s chotí Olgou Scheinpflugovou, sochař Karel Dvořák s Leopoldou Dostálovu, spisovatel Ferdinand Peroutka a také mnozí slavní herci té doby. Režisér Slavínský tu natočil film Uličnice s plejádou těch nejslavnějších, jako J.Plachta, O.Nový, V.Ferbasová, L.Pešek, J.Kohout, J.Doležal, S.Svozilová atd. Před druhou světovou válkou byl zámek místem tajných jednání mezi českou kulturní frontou, zastupovanou např. Čapkem a Peroutkou, a německým kulturním atašé.
   Za války byla velká část budovy zabavena pro potřeby Němců.
   V roce 1948 byl zámek znárodněn a místní dobrodinec a mecenáš kultury Václav Palivec odsunut do tzv. fořtantu, kde tehdy nebyla zavedena ani elektřina. V zámku byla zřízena rukavičkářská škola a internát pro učně. V roce 1960 byli rukavičkáři odstěhováni na Dobříš, zámek uvolněn a adaptován na domov důchodců, který zahájil činnost v roce 1961. Jeho činnost zde skončila v červenci roku 2000, kdy objekt převzal Emil Palivec, který ho získal v restituci. Od té doby je zde provozována pouze minimální činnost, například koncem roku 2001 zde reklamní agentura natáčela propagační spoty pro německého zákazníka Při té příležitosti zde bylo provedeno pár stavebních úprav, jejich účelem bylo částečně uvést některé místnosti do původního stavu.