В 18 столетии усадьба принадлежала священнику Правицкому, который был другом и учеником философа Г. Сковороды. Писатель во время путешествий часто останавливался в имении Правицкого. В 19 столетии усадьба перешла в собственность семьи Щербининых и принадлежала наследникам Евдокима Алексеевича Щербинина, бывшего первым Харьковским губернатором. Живя уединенно в родовой резиденции Бабаи, Щербинин вспоминает боевую молодость и с особым интересом следит за развитием литературы, посвященной тому времени. Им были написаны мемуарно-критические замечания на произведения Льва Толстого «Война и мир», а также «Историю Отечественной войны 1812 года» Богдановича. Последние годы жизни Щербинин посвятил приведению в порядок записок, набросанных за годы жизни.
После проживания в усадьбе нескольких поколений Щербининых, имение находилось в распоряжении архитектора Флотта, который после Октябрьской революции эмигрировал в Германию. Местные жители рассказывали, что в 1942 году он наведывался в имение с целью его восстановления.
По некоторым данным в 2005 году из имения Щербининых были вывезены уникальные изразцы, датируемые серединой 19-го столетия. Таким образом хотели спасти уникальных экспонаты, хотя такие действия вызвали противоречивое мнение.
На сегодня усадьба Щербининых в Бабаях находится в полуразрушенном состоянии. Одна часть дома остается жилой, а другая же потихоньку разрушается. Но, несмотря на это, имение признано памятником культуры и истории Слобожанщины.
Добраться в поселок Бабаи можно на маршрутном автобусе, следующем из Харькова. Преодолев совсем недолгий путь можно ознакомиться историческим местом Харьковщины.