V současné době můžete v Chlumci vidět pouze neudržovaný zámecký rybník, který je součástí zachovalé části zámeckého parku. Původní zámek vyhořel v druhé světové válce a dnes zde nenajdete žádné pozůstatky.
Původní renesanční zámek z roku 1596 nechala Hraběnka Marie Anna z Kolovrat - Libštejnská, manželka Václava Josefa z Thunu, přebudovat na nový, pozdně barokní dvoukřídlý zámek, který byl obklopen rozsáhlým anglickým parkem. Původní objekty byly upraveny k hospodářskému využití a jejich zbytky přetrvaly dodnes. Romantická podoba zámku z roku 1875 se zachovala na obrázku známého ústeckého malíře Ernsta Gustava Doerella. K likvidaci zámku přispělo na konci 2. světové války nesmyslné bombardování sovětskými letadly a poté zřízení skladu sena státním statkem za komunistické totality. V roce 1958 objekt vyhořel a následně byl zbourán.