明るくみんな仲良しな職場に馴染めません

トピをご覧頂きありがとうございます。 私は4月から派遣社員で事務をしています。勤めてから2週間が経ちますが、今後もこの職場でやっていく自信がありません。 リーダー格の方を中心に事務は仲良しなのですが、私のわからない話で盛り上がり会話に入れないことも多くそういった話ばかりなので、何を話したらいいかわかりません。 具体的には、職場で異動した方の話など過去の職場の話。また私以外は子供がいたり妊婦さんがいて、子供の話で盛り上がっています。 もちろん、会話に入れないながらも相槌を打ったりオウム返しをしたり適当に質問したりしますが、私のせいで話が折れたり違う話に持って行かれたりします。 私自身、会話が得意じゃないのでもっと話が上手だったら対応が違うのかなぁとは思いますが、やはり既にできている輪の中にぐいぐい入っていける性格ではないので、正直つらいです。また、お昼も苦痛で、休憩室は他部署の事務さんも来てわいわいお話しながらお昼を食べるのが普通のようですが、他部署の人が私に話しかけてくれる訳もなく、みんなが楽しく子供の会話などしている中一言も喋らず相槌だけうっていました。それが耐えられず他の場所で一人でお昼を食べていますが、事務のリーダー格のから「最近休憩室いないけど？」とかみんなでお昼を食べることを遠回しに強要してきます。本人にそのつもりはなくても、そう聞かれるだけでとても辛いのです。 今度、その事務のメンバーで家族を交えて食事会を開くそうで、嫌だったらやらないけど？と言われプレッシャーに感じています。主人も今時珍しいねという感じで、本当は面倒だけどと言いつつ付き合ってくれるようで申し訳ないです。 正直辞めたいですが、派遣会社に言ったら筒抜けだし、主人にも心配かけてしまうので我慢かなと思っています。 みなさんはこういう状況のとき、どう対応しますか？ よろしくお願いいたします。