あなたのことを尊敬するか馬鹿にするかはあなたが決めることではなく、
相手が決めることです。

言い返してその場では黙っても、あなたのいないところでは好き勝手に言うのが世の常です。

あなたがやるべきことをやっていても、世の中は勝つか負けるかのサバイバルゲームですから負けた人が勝った人を悪く言うのも世の常です。

いわれのない誹りを受けることは今の世の中決して珍しいことではありません。

そういういわれのない誹りに対して喜んで耳を傾ける愚かな人も残念ながら相当数いるというのが世の中です。

人物評価を他人の請負ではなく、自分自身がするという人だけなら何の問題もないのですが、前述の通り、いわれのない誹りにも耳を喜んで傾ける人が相当数いる以上、悪いうわさが立たないための防御策や、評判が良くなる対策も社会人としてはコミュニティーの中で働いている人には必要な技でしょう。

＞前の部署の先輩の手下的な人

この人がいなくなるのをじっくりと待つのが一番いいと思います。

完全に嫌がらせですね。
選択肢は２つ
辞めるか、ずぶとく居残るか
私は、いじめ・いやがらせに屈したくないので、ずぶとい神経になって居残る方を進めます。

ありえない人間はいじめや嫌がらせする人間の方。こいつらの方が辞めるべきだと思います。
改心してくれたら別ですが

心を強く持って、負けないでください。
私なら言い返してしまいますが、言うことができないのなら多くの味方をもつようにすることですね。