職場で嫌われている？

入社して3年の職場に勤めています。
職場は歳の近い男性3人女性3人がおり、お昼は一緒に食べています。私もお昼時は声を掛けてもらえ、食事中はそれなりに楽しくおしゃべりしていると思います(自分だけがそう感じているんだったら悲しいですが…)。仕事に関する仲間はずれも無いです。ただ、私以外のの女性のうち、男性社員と一番仲が良い女性社員(1つ後輩です)はかなり話題が合わない気はしています。いわゆる、学生だったら同じグループには成り得ない感じです。悪い人ではないと思うのですが。
以上の状況で働いていますが、時々男性社員が土日に食事会を開催したりするときは誘ってもらえません。私は職場での人付き合いが深いのがとても苦手なため、誘って欲しいわけではないのですが、みんなに嫌われているのではと思うとやっぱり不安で怖いです。仕事には影響しないので深く気にすることも無いかもしれませんが…。
一般的に、「明らかに職場外での人付き合いが苦手な人」相手だったら食事会などがあっても声すら掛けないのでしょうか。でも自分が主催する立場だったら、断られるとわかっていても一応毎回声掛けするし…やっぱり職場で仲間はずれにしないでいてくれているだけで、嫌われているのでしょうか。