黄州耿家不是个普通的世家，耿定向的曾祖、祖父、父亲都是一时名士，两榜进士出身，他这一辈五人三个两榜进士，他和两个弟弟于天台山创设书院，讲学授徒，合称“天台三耿”。

和其他的书香门第相比，耿家更为特殊，因为“心学”。

耿定向的祖父、父亲都曾经随王守仁潜心修学，到耿定向这一代，兄弟五人均是心学传人，大名鼎鼎的李卓吾便是在黄州耿家讲学而开始名扬天下的。