働きにくいのにやめられない状況

　子持ちのバツいち♀です。
　社会人５年目ほどで結婚退職し、その後ずっと家事と子育てだったのですが離婚し、今は子供を育てながらパート仕事を始めています。
　仕事内容としても、今までのブランクがあっても以前と同じ内容なので割りとすんなり進める事ができ安心しています。

　ところで、働きにくいというのは・・
　同じ職場の男性（独身）が、それとなく個人的な連絡をしてくるのですがその気がないので理由をつけて個人的な接点を持つのはいけないと、お断りするなどしています。
　ですが、人数も少ないので当たり障りなくといっても難しいです。
　普通に笑顔で接すると、上記のようなことがたまにあるし、かといって無愛想にすると仕事に影響も出るしぎこちなくなってしまうので、少しだけストレスを感じることがあります。

　そして、お得意様と接するときもあるのですがそのときもさりげなく触れられたりします。
　それでも気にしないようにしていますが、
　そういうことにいちいち敏感になってしまっていて（男性に対してのトラウマのようなものからです）、働きづらく感じてしまいます。

　生活のために早々転職も無理ですし、出来る限り今の職場で続けていきたいです。
　毎日憂鬱だなっと思うことが続いているので、本当の気持ちを言えば女性が多いところがいいのかなと思いますが、女性も集団も苦手です。以前の職場で陰湿な対応を受けたので、余計にです。
　
　仕事人間ではなかっただけに、すぐにやめたいという気持ちが湧いてきますが、私だけではないのでどうにかして続けなければなりません。
　せめて毎日の仕事に向かう朝の心を軽くするには、どう考えていけば良いのでしょうか？