仙岩园原本是岛津家的别墅和庭院，在德川幕府时代由第十九代家主岛津光久修建。

后来经过历代家主的翻修和扩建，才有了现在这片占地五公顷的庞大庭院。不过在日本战败之后，华族失去了自己的特权，即便是一门两公爵的岛津家也不例外，仙岩园也在那个时候被收归鹿儿岛市管理，虽然在1957年又重新归还给了岛津家，但这里如今已经是对公众开放的海滨公园了，更被指定为国之名胜。