かかりつけ医を変えたい　何と言えば？

うつ状態から心療内科を受診しています。 どうも担当医との相性が合わない違和感を抱きながら半年通院しましたが、心を開けずに受診し続けても意味がないと思い医者を変えたいと思っています。 その際、自分では言いづらいのでワーカーさんにその旨を相談すると、 他の医院に移るので紹介状を書いて欲しい事を自分で先生に言わなくてはいけないと言われました。 自分で…先生が合わないから、もしくは他の病院がいいからなど、言えますか?私は気まずくていえません。 今の病院の通院をやめる理由も、現在仕事ができない状態で当然医師もそれを承知ですので仕事の都合などの理由とは言えません。 通院先を変えたいとき、担当医に直接自分で伝えなくてはいけないのでしょうか？ なんのために医師と患者の間にワーカーさんがいるのでしょう？ また、転院するには紹介状がないとやはり無理でしょうか? ご意見お願いします。