不久，王安石新党中的重要成员谢景温上书诬告苏轼，说他扶丧返川时，利用官船贩运私盐。后虽经查无此事，但苏轼已厌恶了朝廷的党争，想到外地去任地方官。这时，新党正想排斥异己就把他贬到了杭州，任杭州通判。
苏轼在杭州、徐州辗转数年，兴水利，救水灾，为民做了许多好事。元丰二年（公元1079年），苏轼又从徐州迁至湖州。这时，朝廷里的斗争也很激烈。王安石提拔起来的一伙人，钩心斗角，相互倾轧。熙宁八年（公元1075年）二月，王安石被神宗复用，任他为宰相，吕惠卿多年的蓄谋化为泡影，为了当宰相，吕惠卿竟把他和王安石的私人信件交给了神宗。吕惠卿本是靠阿附王安石才当上副宰相的，因而，两人的来往信件很多。在王安石写给吕惠卿的信件中，有的用了“无使上知”的字样，神宗一见，觉得王安石在搞阴谋诡计，十分恼怒，就罢了他的宰相职务，命其永远不得返朝。这样一来，过去曾经支持过王安石变法的“新进勇锐”之人吕惠卿、李定、舒亶等人就独霸了朝权。
