彼の友達に会う事ができません

実は彼は最近離婚をした人です。（離婚直後に出会った人です） 彼とは離婚前から知ってました。でも一切不倫のような関係はありませんでした。もともと私達は１０人ぐらいのグループで集まって遊ぶ事が多く、お互いその中の一人でした。で、最近彼が離婚をして、私と親しくなって付き合うようになりました。 最近彼が自分の友達（グループ）に私を合わせようとするのです。でもそのグループはみんな結婚していて家族ぐるみで付き合っているそうです。って事は前の奥さんとも親しかったって事です。その中に私は入れない！っていうか入りたくないんです。 その人たち（彼の友達）からどう思われるかが嫌で。 『不倫してたんじゃないの？』とか『略奪？』とか『離婚直後でよく付き合うねぇ～』とか・・・そんなふうに思われるのが嫌で。彼には何年か経ってからでないと会う自信はないって言ってありますが、彼はそのグループに早く私と馴染ませたいと想っているようです。 皆さんならこの立場ならどう思います？ （私の立場＆彼の立場＆彼の友達の立場）