与其他德意志内陆城市一样，乌尔姆也渐渐没落了。此后两个世纪中，尤其是在三十年战争中，支持新教的乌尔姆的城市财富被战争、疾病和不同的占领者的要挟和勒索中一荡清尽。

1770年时，乌尔姆自由市处于破产边缘，而不得不向周边富有的符腾堡与巴伐利亚出卖自己掌握的领地，最后仅保留了周边7、8公里左右的领土。

18世纪晚期，这座曾经辉煌的自由市的总人口锐减到1万左右。

可即便是如此