会社の休憩時間

初めて投稿します、よろしくお願いします。

私は以前、職場での人間関係が原因で体を壊し、しばらく仕事をお休みしていました。（その会社は退職）
単発派遣などはやっていましたが、１年近く定職にはついておらず、今月から契約社員として働き始めました。

まだ体も本調子ではなく、また人間関係で問題が起きたらどうしようという気持ちがあったのですが、この仕事は午後から夕方までの勤務なので頑張ってみようと思いました。
その時間なら、体調とも相談しながら勤務できるし、昼休みもないから緊張もしないでいいという考えからです。

ですが、１５時くらいから１０分休憩が入ります。
手の空いた人から小さな休憩室で休憩をとるのですが、それがちょっと苦手です。
それというのも、私以外は本当に主婦の方ばかりで話が全然合わないのです。（皆さんもきっとそう思っているかと思います）
以前、少し遅れて休憩室に入ったら、皆で固まって誰かの噂話をしていて怖かったです。
でも、少しでも馴染まなくてはと思い、何度か皆さんと一緒に休憩をとるようにはしているのですが、話には入れないし、気まずいし、ちょっと辛いです。

１０分しかないので、最近はお化粧を少し直したりトイレに行ったりして時間をつぶしています。
でも、これって他の方からしたら感じ悪かったりするのでしょうか。
休憩が終わった後に、「コマコさんさっきいなかったからこれあげます」って、退職された方からのお菓子とか、誰かのお土産とかを渡されることがあるんです。

やっぱり頑張って皆さんの輪の中に入った方がいいのでしょうか。。
ちなみに私は２０代です。
（大半の方は３０～４０代の子持ちの主婦の方です）