謎すぎる男性との接し方

お恥ずかしい質問で恐縮なのですが、 どうぞよろしくお願いいたします。 現在30代の会社員です。 ひとり親家庭育ちなのですが、 その母が家庭で暴れる事があった影響で女性が怖いです。 そのため学校も男子校に近い学科を選んだり、 仕事も男性ばかりの所を選んできました。 ただいざ入っていくと、よくトラブルを起こします。 からかわれたり避けられるぐらいならいいのですが、 酷いとデマを流されたり嫌がらせをされたりする事が数回あり 今度は男性を前にすると固まる様になりました。 仕事に真剣に取り組めば、 自分も同僚も助かるだろうと思っていたら、上司や先輩からは態度が大きい。 でしゃばるなと言われ空回りします。 言葉遣いを気をつけたり、 悪目立ちしないようにと立ち振る舞いや距離感を気をつけているのが裏目に出て、 最後は怒られ続けたり、意地悪され退職というのが続いています。 明るく挨拶して、笑顔で話すようにしてもだんだん関係が悪化します。 気遣って頂きお世話になった方々にも出会ってきました。 性別だけで判断したい訳ではないのですが、 いまだにこうも上手くいかず男心がサッパリ分からないままなので、 どうにか最低限、迷惑にならず男性と接する事ができる人になりたいです。 恋愛も振り返ると誠実なものじゃなく、 なあなあな関係になっていたなと後から気づく事が多かったです。 真剣に話せる仲だと思っていたら不倫狙いだった事も。 背が高くアウトドアや力仕事。 格闘技をしたり、メイクも最低限なので女性と話している気がしないと言われることも。 人によっては可愛いとも見苦しいとも言われ、 好き嫌いや感じ方。態度も人それぞれとは言え、もういよいよ分かりません…。 ただ周りの女性をみると、上手に立ち振る舞っていて綺麗で、自分とは全く違うとすごく思います。 どうか接し方、心構えなどご教示をお願いいたします。