九月底，天气渐渐寒冷起来，贺兰山东麓，新开辟的田地上，抢种的宿麦才露出了芽，本地戍卒还需仰仗内地送来的军粮。一旦入冬，粮道将断，所以只能留下三分之一的人戍守，其余撤回内地过冬。

陇西兵卒、民夫已被李信、蒙毅带着，于月初撤回陇西郡，北地兵卒也将于十月初离开，黑夫正与监军、众将议论撤兵事宜。

这时候，乌氏延带着从月氏使者处得知的消息来报，说冒顿已杀头曼，在居延泽自立为单于。