彼の前妻との付き合い方、または程度

米国在住６１歳の女性です。
ネットで知り合った日系男性６５歳と２年半ほどカップルとして彼の家で暮らしています。
彼は２５年前の離婚後前妻と協力して子供二人を立派に育ててきました。彼にとって家族（前妻を含む）は人生で一番大切です。
仲の良い家族で、結婚した子供たちも前妻もみな近くに住み度々食事会などをしています。
前妻をとても愛していた彼にとっては離婚されてしばらくはとても辛かったようですが、子供たちのために２０年間独身で頑張ったようです。
尊敬できる彼ですが、私にとってひとつ大変なことは、家族の集まりにいつも私も参加するように言うことです。両親、子供たちとその連れ合いたち、孫、と家族の集まりですので、私としては正直自分がよそ者のような気がしますので、何度が出席を遠慮させてもらいました。しかし私のこのリクエストでこの２年半の間に彼と随分気まずい経験をしてきましたので、ここは割り切って彼の家族の集まりにはもっと気軽く出席しようと思っています。（そうしないと、彼の怒りが別れ話になりますので、、、）
ただ譲れないことがひとつあります。彼の前妻の家での集まりにはどうしても出席したくありません。女として、彼と前妻が仲良くしているのを見るだけでも辛いのに、まして前妻の家でそれを目の当たりにするのは、辛いことだけでなく、プライドをなくしてしまいそうな気がします。
彼の怒りを買わずに、前妻の家での集まりだけは行きたくないと分かってもらえる伝え方はないでしょうか？
彼とは言葉、考え方、習慣、文化、いろいろな違いで苦労がありますが、本質的には誠実な人で愛していますので、長く一緒にいたいと思っています。
この、家族との付き合いに関することが、彼との間の一番の問題点になっています。
よろしくお願いいたします。