西河郡原先地域辽阔，如果按照面积来算的话，甚至是一些小郡的两三倍，但是随着进入了公元一百年之后，就逐渐的在鲜卑、乌桓、匈奴、东羌等等胡人的影响之下，逐渐的缩小，部分的县城被废弃，边郡的人口内迁，整个的行政范围比起汉武帝时期缩小了将近三分之二。

等斐潜到了西河的时候才发现，虽然河东和西河两郡相差不远，就连名称似乎都很相似，但是不管从农桑还是贸易上，都相差了不少。