В середине XVIII века рядом с церковью строится кирпичная усадьба на белокаменных подвалах, которая в 1781 году переходит в собственность Григория Потемкина, фаворита Екатерины II.
23 июля 1787 года Екатерина II приезжает в Дубровицы. Усадьба так нравится императрице, что она выкупает ее у Потемкина, для того, что бы передать другому фавориту А.М. Дмитриеву-Мамонову. В середине XIX века Дубровицы возвращаются к Голицыным, которые и владели ими до революции…