吴甡被赦回南京后回归故里，隐居往来于兴化府第和与兴化接壤的高邮司徒潭茆草塘（今司徒镇曹张村）之间，甘于寂寞，于淡泊中安然。

司徒潭，有他的田产；兴化，有他在升为御史后改建、扩建的祖宅，东西两院，前后八进；还有他在升仙荡边筑建的读书楼。

相传元未明初，兴化四圣观的道长全真羽士柴元皋曾于此得道“升仙”，仙逝而去。吴甡筑楼于此，取楼名为“柴庵”，并以此