褚遂良于永徽六年九月被贬黜为潭州都督，使太尉派受到了沉重打击，太尉派不甘沉沦，展开了营救行动。

侍中韩瑗在废王立武过程中曾经涕泣进谏，与褚遂良保持前后呼应，褚遂良被贬半年后，韩瑗挖空心思写成疏议上奏论理。

大意是说褚遂良勤劳忠诚，体国忘家，从被贬到如今已经度过寒暑，违忤陛下之罪已经受到惩罚，请求宽宥以顺人情。

疏议写得比较长，用情比较深，李治御览后对韩瑗说“褚遂良的情况朕也知道，但他悖戾犯上，朕无法忍受，所以用忤旨罪名左授他为潭州都督，朕难道有过错吗？卿说了这么多，情感又这样深，是想得太多了吧！”韩瑗默然而退。

这次营救无果，太尉派并未放弃，韩瑗继续与褚遂良书信来往。

显庆二年三月，韩瑗和中书令来济上奏请移潭州都督褚遂良到桂州，以此为条件换取同意拥武派李义府兼中书令。

潭州治所在今湖南长沙，中都督府，管理郴州、永州等7州，而桂州治所在今广西桂林，也是中都督府，管理梧州，贺州等12州，风光秀丽，是历代兵家要冲。将褚遂良移到桂州，看似平级调动，实际上是扩大了实权。

李治给了太尉派一个面子，爽快同意了奏请。褚遂良到桂州以后，一方面游历桂林山水，排遣一年多来胸中郁结，一方面加强州府治理，修缮守备。

且说武后的成功得益于小人物的通风报信，所以武后十分重视对“耳目”的培养，不惜重金奖赏，宫内耳目密布，监视李治和其他妃嫔的动静，宫外也严令拥武派培养“耳目”，监视政敌。

太尉派自以为得计，却不料武后早已令许敬宗、李义府暗中加强对太尉派的监视。褚遂良在桂州的一举一动以及与京城官员的驿马往来，武后都能及时知道，时机成熟就向李治报告。

转眼到了盛夏，许敬宗的监控人员截获了韩瑗与褚遂良的书信，上报给武后，武后又报告给李治。

李治见掌握了太尉派的真凭实据，大喜过望，结合以前收集的材料，指责韩瑗、来济与褚遂良联合起来潜谋不轨，因为桂州是用武之地，所以故意调褚遂良为桂州都督，以为外援。

借此罪名，左授侍中韩瑗为振州刺史，振州在今海南三亚，是天涯海角所在地，比桂林远多了。

又将中书令兼太子詹事来济左授台州刺史，台州在今浙江，这个惩罚相对较轻。因为来济没有书信方面的把柄，又辅助过太子李弘。

再贬黜褚遂良为爱州刺史，爱州又名九真郡，比天涯海角还要远，在今越南清化西北。在交通不便的古代要走到此处，真的是要经历千难万险。

又把荣州刺史柳奭左迁为象州刺史，让他在路上折腾。太尉派骨干到此基本上被一锅端了。而礼部尚书许敬宗被提拔为侍中，以示褒奖。

褚遂良从桂州出发，经过长途跋涉到达爱州，疲惫不堪，又不适应这里的热带丛林气候和蚊叮虫咬，经常生病，连累家人，实在受不了，只好不顾老脸上表乞怜。

乞怜表的大意是说自己在李承乾、李泰交争之际曾经对抗岑文本、刘洎，为李治进入东宫立下大功，又在先帝病危之时拥立李治，处分朝政琐事，使内外宁谧，这也是一件功劳，所以乞陛下哀怜。

表奏上后，时已隆冬，武后在洛阳宫烤火，览表后一笑了之，将表扔进炉子引火。而李治亲手写了一道诏书，改洛阳宫为东都，洛州官员阶品并准参照雍州标准，将河阳、济源等地划归洛州管辖。

长孙无忌也收到了褚遂良的求援信，碍于情面不能不向外甥求情，但自己早已失礼于外甥，又没有朝拜皇后，如何见面求情？

实在是尴尬至极。恰巧太常博士上报《显庆礼》即将修成完工，长孙无忌正好可以借献新礼机会面见外甥。

显