職場の人間とプライベートでの付き合いは必要？

当方20代前半、事務職に就いている者です。 職場以外での同僚との付き合いの仕方について、今現在悩んでおります。 私の勤めている会社はいくつか支店があり、各支店に事務員（女性）が一名というスタイルで、基本事務員同士は社員旅行や数か月に一度の会社の集会でしか顔を合わすことはなく、普段はパソコン上でのチャットでのやり取りや電話でのやり取りがメインとなっています。 ですが、私以外の事務員は仕事以外の日に幹部+事務員とでプライベート旅行に行くような性格の子たちばかりで、私にはわざわざ休日をつぶしてまで妻子持ちの幹部たちと若い女性たちだけで行く考えが理解できず、そういった誘いは全て断っている現状です。 皆気が合うのか、そういった旅行ではまるで昔からの友人のようにつるんでいたり、仕事中にもその延長線のように事務員全員が見ることができるチャットで内輪でしかわからないような仕事と関係ない会話をしたりして、私は正直まるで関係ない意味不明な会話を見せられていい気はしないです…。 人間合う合わないがありますので、単に私が他の事務員と合わないだけなのだとは思います。仕事なら仕事と割り切れますし、無理して合わない人に合わせて嫌な思いもする必要はないと思ってます。 ただ、休日に事務員だけで集まって遊ぼうという話が出てくるのです。あまり接点のない私にも律儀に声をかけてくれます。 正直、完全に出来上がってる輪の中に入って合わない人たちとプライベートでまで会いたくないです…。上にも書いた通り、無理して合わせることで余計ストレスを感じますし、会話がかみ合わないのでまるで楽しいとも思えません。 貴重な休日なので、自分のプライベートに当てたいのも正直なところです。ただでさえ休日が少ない会社なので、自分の趣味だったり友人との付き合いを優先したいです。 こういう考え方はおかしいのでしょうか…？