心療内科の掛かり方

感情の起伏が大きくすでに２年同じ先生に掛かっています。受診後は落ち着き、またこの２年でかなり良い方向に向かっているのでこのまま受診を続けたいのですが、時々先生との拘り方により受診後落ち着かない感情または暫く落ち込んでしまうことがありどうしたら良いか悩んでいます。
普段は穏かに対応してくださる先生なのですが突然苛立つことがあります。それは私の話の中にあるのだと思いますがどの部分なのかわかりません。そうなると気落ちしてしまいそれを訊ねることもできません。ときには話している途中で沈黙してしまっても辛抱強く待ってくれる先生なのですが。
医師だって他の医師に診てもらうこともあるよと言われたこともあります。
私の昇華できない感情を受け入れられないということでしょうか。
こういうときは落ち込む状態が続きます。しかし医師を変えることは診療所までの交通事情からも無理があります。何よりこの２年間で信頼しています。
専門家の方、またはご自身の経験からどうぞアドバイスよろしくお願いします。