心療内科の再診

初めて相談させて頂きます。31才、不妊治療中の主婦です。
神経症で7年位心療内科に通院しています。薬は最初から効果が感じられ、服用していれば生活にほぼ問題はありません。

旦那の転勤で他県へ引越ししているのと、妊娠を希望しているという点で薬を処方できないというお医者さんから処方、妊娠・出産中は症状によって漢方へも変更可能なお医者さんへ移ったりと、転院することが数回ありました。

現在は以前の土地に戻ってきて、以前通院していた病院に行ったのですが、古い病院で漢方の処方はされていませんでしたので別の、新しそうな医院に行きました。そこは最初から先生が少し話しづらいな、と思ったのですが、薬を処方してもらえれば安定しているし、漢方も処方して頂けるということで2年通院しました。

最近、不妊治療の医者を変え、近いうちに顕微授精を予定していて、妊娠成功後の環境の変化で何かあったときにこの先生には相談できないと思い、一番話しやすかった最初の病院を再度受診したく思っています。
漢方は処方してもらえないですが、以前の産婦人科の先生に「漢方はあまり効かない」という話を聞いたので、こだわらなくて良いかなと思うようになりました。

しかし、心療内科の先生からすれば、2年間別の医院に通っていたのに戻ってこられても迷惑ですよね？
私が悪いのですが、以前の主治医に嫌な顔をされるのが怖くて、転院をためらっています。転院はあきらめた方が良いでしょうか？