尼斯宫的石料，大多都来自斗兽场。

此后很长一段时间，威尼斯宫都是教皇的住所，直到教皇比约四世在位期间，他将威尼斯宫的大部分给予威尼斯共和国，作为威尼斯共和国驻罗马的大使馆。

到了十七世纪中期，威尼斯共和国驻罗马大使馆主持建造了这栋巴洛克风格建筑，作为使馆工作人员的住所，此后的时间里，这栋建筑一直附属于威尼斯宫。

十九世纪，这栋历史建筑和威尼斯宫再次易主，成为了奥匈帝国