Пасля першага падзелу Рэчы Паспалітай у 1772 годзе Чачэрск аказаўся ў складзе Расійскай імперыі. Па рашэнні імператрыцы Кацярыны II горад быў аддадзены аднаму з яе фаварытаў - графу Захару Рыгоравічу Чарнышову.
Пры ім Чачэрск значна змяніўся і капітальна перабудаваны. З аднаго боку Чарнышоў узвёў каменную ратушу, некалькі цэркваў, тэатр, бровар і нават касцёл. З іншай - менавіта па яго рашэнню знеслі стары замак які нагадвал аб старажытнай гісторыі горада. Свой маёнтак у Чачэрску граф Чарнышоў таксама ўладкаваў з пышнасцю і камфортам. У 1774 годзе тут ён прымаў будучага імператара Паўла Пятровіча.
Аднак надоўга ў Чачэрску Чарнышоў не затрымаўся і ўжо ў 1782 годзе адбыў на новае месца службы ў Маскву, дзе праз пару гадоў сканаў. Так як граф не меў прамых спадчыннікаў, то лёс Чачэрскага маёнтка заставалася імглістым, аднак у выніку землі дасталіся малодшаму брату Івану.
Палац, які можна ўбачыць сёння, значна змяніўся і быў не аднойчы перабудаваны за сваю доўгую гісторыю.
Кожны наступны ўладальнік, пачынаючы з 1784 года, уносіў карэкціроўкі ў архітэктуру і планіроўку аж да 1860 года, пакуль сядзіба не стала фамільнай рэзідэнцыяй Чарнышовых-Круглікавых. Пры іх палац канчаткова сфарміраваны і скончаны.
У пачатку 20 стагоддзі сядзібу ў Чачэрску перадалі пад патрэбы земскай школы, якая працавала да 1925 гады. Затым была пераўтворана ў 7-класную школу.
Падчас вайны палац моцна пацярпеў, частка жылога корпуса поўнасцю згарэла. З-за гэтага будынак у чарговы раз перабудавалі, таму казаць пра яго архітэктурны стыль даволі праблематычна, можна апісаць яго як эклектычны.
У познія савецкія гады ў сценах былога палаца размяшчаліся розныя дзіцячыя ўстановы, бібліятэка, школа і нават нейкі час аддзяленне бальніцы. У канцы 90-ых сядзібу Чарнышовых-Круглікавых ізноў перабудоўваюць і рамантуюць. Левае крыло перарабляюць пад спартыўную залу (працуе і сёння).
Зусім нядаўна частка будынка які не выкарыстоўваецца закансервавалі і пафарбавалі ў белы колер.
Ад графскіх пабудоў захаваўся таксама бровар. Прадпрыемства дзейныя таму паглядзець можна толькі з боку дарогі.
Чачэрскі палац знаходзіцца на вуліцы Ульянава зусім недалёка ад цэнтра, ніжэй кропка з размяшчэннем на мапе:
Калі будзеце ў гэтых краях то мае сэнс заехаць у Гомель, а таксама па магчымасці наведаць палац у Жылічах.
