Угловое здание расположено при пересечении с улицей Чайковского. Его левая, южная часть построена в 1780 г. как двухэтажный каменный жилой дом воронежского коменданта полковника А. И. Хрущева. В 1792 г. дом перешел к губернатору О. И. Хорвату, который при отъезде из города в 1795 г. продал его в казну. С тех пор до 1917 г. дом был официальной резиденцией воронежских губернаторов. Здесь размещались канцелярия губернатора и его жилые покои.

В конце XVIII — начале ХIХ в., помимо двухэтажного главного дома, в обширную усадьбу входили два симметрично расположенных одноэтажных хозяйственных флигеля, а также большой сад, тянувшийся вдоль Чертковского переулка (ныне ул. Чайковского) до Малой Дворянской улицы (ныне ул. Фридриха Энгельса). На Большую Дворянскую улицу выходил балкон главного дома, подчеркиваемый четырьмя колоннами. В задней частьи дома была антресоль. Осевая композиция регулярного сада завершалась беседкой. В таком виде усадьба дошла до конца XIX в., лишь сзади к дому были сделаны небольшие пристройки, а сад в соответствии с модой утратил регулярность и на планах, начиная с 1817 г., именуется "Дикий сад".

В середине XIX в. была произведена некоторая перестройка здания. Главный дом соединили с правым флигелем. В 1892-1893 гг. по проекту архитектора С. Л. Мысловского была осуществлена радикальная реконструкция здания. К нему пристроили более высокий корпус, занявший место правого северного флигеля. По высоте и интенсивности декора эта пристройка стала доминировать в общей композиции. Размещенный в ней главный вход оформили порталом, длинным навесом на чугунных столбах, доходящим до проезжей части улицы и небольшим балконом над ним. К этому времени балкон старого дома был утрачен, Чертковский проезд превращен во внутренний и закрыт со стороны Большой Дворянской воротами.

Кирпичное оштукатуренное трехэтажное здание сохраняет черты всех периодов своего строительства. В основе каждого из них лежат формы классицизма, трактованные сообразно времени. Наиболее старая южная часть (XVIII в.) имеет прямоугольный план. Нижний цокольный этаж с маленькими окнами рустован. Средняя часть фасада первоначального объема чуть выступает и акцентирована полукруглыми сандриками над тремя окнами второго этажа. Эти окна обрамлены профилированными наличниками с ушами и пилястрами между ними. Остальные окна второго этажа были обрамлены такими же наличниками, дополненными прямым сандриком и накладной доской снизу. Образцы этого обрамления при восстановлении сохранены только на четных окнах.

Северная часть здания (XIX в.) имеет сложный план с тремя значительными выступами в сторону улицы Чайковского и ризалитом на несимметричном главном фасаде. Первый этаж, как и в старой части, решен как цокольный и декорирован квадровым рустом. Крупные арочные окна второго этажа отделены друг от друга пилястрами с пышными коринфскими капителями, которые несут венчающий антаблемент. Помещенные на уровне капителей маленькие сдвоенные окошки второго света разделены каннелированными лопатками. Декоративную насыщенность фасада создают креповки, вертикальные полосы руста, массивные архивольты окон. Утрачены лишь портал, балкон над ним и венчание ризалита, которое в 1950 г. заменено огромным треугольным фронтоном. По бокам фронтон опирается на ризалит и два рустованные столпа, выполняющие роль антпортика. Надстроенный тогда же над южной частью третий этаж стилистически нейтрален. Достройки советского времени, наиболее сдержанные и суровые на вид не только объединили два здания в одно, но и придали ему более крупный масштаб.

В планировочном отношении обе части здания самостоятельны. Планировка старая, типичная для особняков классицизма, была сильно изменена при перестройке. В северной части ризалиту главного фасада соответствует вестибюль и аванзал над ним. Аванзал и расположенный в угловой части главный зал — двусветные. Вдоль улицы Чайковского располагаются служебные помещения с отдельными входами. В первом этаже они перекрыты системой крестовых сводов, опирающихся на столбы.