この価値観の違いは

高校時代から知っていて、付き合って3年ほどになる彼がいます。
私23 彼25 お互いもう社会人で結婚の話もするようになってきたのですが、どうしても友人（異性も含む）付き合いの点で折り合いがつきません…

私は自分の友達男女関係なく会って遊んで彼も仲良くなってくれたらいいなぁと、彼抜きで遊ぶのが楽しくないわけではないですがやはり一緒に居ないと全力では楽しめません。
そして私は友人がほぼ居ないに等しいので遊びに行く事もそんなに無く、お酒も飲みません。
対して彼は高校時代から付き合いのあるグループ（男3女2）がありみんなの誕生日会をしたり、旅行も行ったりするような仲の友人達がいるのですが、先に記述した私の考えは全くわからないそうです。
問題はそのグループ内の女の子を私が信用できなくて嫌いなんですが（手を繋ぐかのような距離感で隣を歩いたり）、私を連れて行ったら「敵対視して空気悪くなるから連れて行きたくない」
じゃあ彼女がそういう事に気を使えない人なのならあなたが私に対して少し気を使ってくれるとかはしてくれないの？と尋ねたら「嫌だ、遊ぶときに気なんか使いたくない」と言われました。