くだけた感じの話し方が苦手です…

こんにちは。私は現在知人の計らいでとある小売り店にヘルプのような形でお仕事に入らせてもらっているのですが、そこでの同年代位の同性の方との付き合い方で悩んでいます…。 私は幼い頃から母がおらず田舎で祖父・父や弟等男性にかこまれて育ったためか自己主張をあまり得意としない性格に育ちました。(黙ってするのがよしのような感じです) そんな自分は男性相手だと自分を出せ緊張せず自然に話したり接しられるのですが、ただ同性(特に同年代位の方々)とは対等にきさくに話す事ができず(長くいてもどうしても女性とは気を遣ってしまい(そうなのよ～)みたいな感じができず、ですます調でしか話せません…)それがいつまでも打ち解けられない原因な事や、相手がよそよそしさに感じて嫌な思いをしてしまわないかと心配になり自己嫌悪に感じたり、仕事をしにきているのだからと考えはするのですが何気ない会話をする事も負担に感じて疲れてしまう毎日です…。 女性の方、私のようなタイプはやりにくいでしょうか？どんな風に感じられるか参考にさせていただけないでしょうか。 よろしくお願いいたします。