五通神的来历，已经难以具体考证。

浙江黄岩地区的人说是南齐时候姓柴的五兄弟；到了钱塘地区，五通神的姓改了，变成了姓林，而且坚信五通神能令林姓家族的人科举高中；苏州人说，你们说的都不对，五通神分明是陈朝黄门侍郎顾野王的五个儿子；绵竹地区的人说，五通神是宋萧永福的五个儿子，而且这五兄弟乃是五胞胎。

早在唐代，江南地区已有五通神。如《茶香室丛钞》引《龙城录》说：“柳州旧有鬼，