冲突是在所难免的，这些外来户对当地豪强的资源财产都产生了极大的威胁，自然不受欢迎，所以各地的宗族豪强都排挤客家人。

故而，客家人就被逼选择土地贫瘠、位置偏僻的山区。同住在这些山区的，还有被赶上山的畬族、瑶族等百越山民。他们便跟这些百越人有相当多的交流，有一部份的百越人接受了客家人的汉文化，被同化成客家民系的一员，而且不少客家人与百越人通婚。

客家人和百越人通婚，使得南方大族认为