彼の同僚達との付き合いが苦痛です。

私は２５歳の社会人です。
今結婚してもいいかなぁという彼（３６歳）がいるのですが、

彼はとてもいい人で、気さくで、何も言うことがありません。しかし、彼は自分の会社の同僚と仲良くしてもらいたいのか、私を会社仲間の旅行やキャンプに誘ったりします。私は色々な人とコミュニケーションをとるのが好きなので全然構わないのですが、彼の同僚にことごとく問題があって、みんなでご飯を食べているときにずっと携帯ゲームに集中する人がいたり（初めて見ました。ありえない・・）、コミュ障や、アスペルガーや、よく会社でやっていけるなぁーといった人達ばかりなんです。私が話題をふってもまともに会話すらできません。空気も読めません。（彼が一番先輩なのですが、キャンプに行ったとき、彼に作業ばかりやらせて、皆食べてばかりいました。）

彼から話を聞いたところ、彼らは派遣社員で、人格には問題がありますが、会社に人が足りないため、渋々雇われてるといった感じなんです。彼はとても優しくて、面倒見が良いため、会社でのけ者にされてる彼らたちの面倒を見て、のけ者同士仲良くさせているらしいです。
私にも彼らをよろしくね、また一緒に旅行とか行こうね、と言われますが、もう二度と行きたくありません。彼はやたら同僚と私を仲良くさせたがっているので、断れません。ひたすら付き合いを避けて彼にも嫌われたくありません。
私がワガママだとは自覚していますが、どうすればよろしいでしょうか？

アドバイスお願いします。