Obec Trmice leží 3 km Jihozápadně od Ústí nad Labem. Roku 1264 byl ve vsi panský dvorec a jeho majiteli byli vladykové z Trmic. Roku 1330 byli Trmice majetkem pánů z Koldic, kteří vlastnili i hrad Rosenburg v Krupce. Později došlo k rozdělení trmického panství. Starou tvrz získali po roce 1416 Berkové z Honštejna a později Manštorfové. V roce 1498 zakoupili tvrz Koučové z Kouče. Tento rod nechal tvrz několikráte upravit a vlastnil ji do roku 1620, kdy prodali trmickou část Majdrlům z Mansberka. Druhá část vsi připadla Trmickým z Miliny, kteří byli zřejmě přímými potomky původních držitelů. Tento rod zde vystavěl svou tvrz, kterou užíval až do roku 1601, kdy ji prodali pánům z Bünau. Bünauové, neboli páni z Bynova zde vládli do roku 1629, kdy tuto část obce prodali Majdrlům z Mansberka. Nedošlo ke spojení obou částí obce v jednu, neboť rozvětvený rod Majdrlů nadále využíval původního rozdělení. Ke scelení Trmic došlo až v roce 1662, kdy obě části zakoupili Nosticové. V této době byla již novější tvrz v rozpadajícím se stavu a docházelo proto ke stavebním úpravám pouze staršího objektu. Tento objekt však přestal vyhovovat obytným a reprezentačním potřebám Nosticů a proto po roce 1850 nechali vystavět nový zámek nedaleko původního objektu. Starý zámek následně chátral a byl v roce 1965 úplně zdemolován. Nový zámek je dnes účelově využíván.