Первый вокзал на территории т. н. Архиерейской левады был построен в 1869 году по проекту известного русского архитектора Андрея Тона. Однако с развитием железных дорог (особенно после открытия дороги до Балашова в 1895г) старое помещение вокзала стало тесным и потребовало реконструкции. Перестройка и модернизация вокзала были начаты в 1896 году по проекту архитектора И. Загоскина, завершены архитектором Ю. Цауне в 1901г, после чего вокзал Харьков-Пассажирский стал одним из крупнейших в Российской империи.
Нынешнее, третье по счёту, здание вокзала в стиле «сталинского ампира» с элементами классицизма открыто 2 ноября 1952 года вместо разрушенного в годы войны.