刘备本可以率军南撤到魏郡与大部队集合，但因不忍看到广平百姓被胡人杀害，于是调转军队率手下仅剩的五千汉军护在南逃的百姓们身后，意图抵御辽西单于楼班的乌桓胡骑，保护百姓们撤离。

对此，刘备帐下谋士简雍劝刘备道：“主公，我军现兵马仅五千余，非那胡人对手，带上百姓，多有拖累，不如还是让其等自行逃命吧。”

刘备却道：“今胡人入关，北地百姓纷乱逃命，他们之所