宰相杨朝天与北唐太子李鞎的梁子也由此愈结愈深。后来，林甫楠与杨朝天由于新旧贵族之间的争权夺利产生了矛盾，主要表现在对待王轰的问题上。因王致的宠遇太深，本是林甫楠和杨朝天共同嫉妒的对象。但是为了牵制杨朝天，林甫楠则极力提拔王致；当杨朝天陷害王致时，林甫楠又竭力为其开脱罪责。由于杨朝天做了手脚，北唐瑞宗便开始疏远林甫楠，王致也以莫须有的罪名被致于死地。王致所兼职务全部归杨朝天。