愚不以为意。但此事传入了韩侂胄耳中，韩侂胄就此对朱熹生出怨恨，与赵汝愚之间也是嫌隙日深。

过去韩侂胄任知閤门事时，有一位叫刘弼的官员与他同为知閤门事。刘弼曾在赵汝愚面前提起韩侂胄有定策之功，赵汝愚却嗤之以鼻，说：“他有什么大功？”赵汝愚本为宗室，还是科举状元出身，如今身为文臣之首，对外戚和武官出身的韩侂胄自然瞧不起。刘弼转而便将此事告知了韩侂胄，韩侂胄对赵汝愚更增怨恨。刘弼趁机进言，说赵汝愚是想独揽大功，韩侂胄若不趁早应对，只怕迟早会被贬往边荒之地，建言韩侂胄控制住台谏，才可保无忧。韩侂胄遂通过内批，任命多位亲信为御史，逐渐控制住了言路，随后短短一年内，他先是通过内批将朱熹贬斥出朝，后又指使言官上奏，称赵汝愚以宗室之亲担任宰相，必不利于社稷安定。大宋自立国以来，对宗室防范极严，极少有宗室之人能官居高位，手握实权。赵汝愚因此被赵扩免去丞相之职，外放福州，不久死于贬谪途中。