人を信じられない…対人恐怖？

最近人としゃべる事、人と一緒にいる時に異常に緊張するのは対人恐怖なのかなと思うようになりました。
みんなはあまり咬むことなくすらすらと会話しているのに。

子どものころ、母親に拒絶され、弟ばかりを可愛がっていた・・・。
そのころから私は人好かれているのか？好かれていないのか？ばかりを思うようになりリラックスして人と関わることができません。

結婚し子どももいます。
家族は大好きですが、実母に対してはいつまでもその時に受けた心の傷の恨みを持っているような気がします。（関わりはありますが）
今はパートの仕事をしていますが、仕事場の同僚などに心を開くことができません。
みんなそこまで打ち解けている雰囲気ではありませんが、心の底ではお互いを信じあっているように見えます。会話などで・・・。
わたしはひとりはみ出し者、変わりもの、おっちょこちょいの部分があるのでそこが「ダメなヤツ」で自己評価を低く見られてるだろうと思います。
一番年少ではないのですが、他の人たちが自分のことを良く思っていないと思えます。
職場の人間を信じる信じない・・・、上辺だけで付き合っているようにも見えますが、私以外の人は心の底では基本的にいい人で人を信じているようにも見えます。
結局自分に自信が無いだけなんでしょう・・・。
心療内科に行くべきなのか、考え方を変えるように努力すべきなのか。
ずっと辛いです。