婚約者と友人の家族ぐるみのつきあい

私には付き合って４年になる婚約者がいます。 その婚約者の友達との家族ぐるみでの付き合いが億劫です。 何度かは参加したことがあるのですが、 もう出来れば行きたくありません。 お恥ずかしいのですが、理由は強烈な劣等感にかられるからです。 私は自分に自信がありません。 子供も出来にくい体です。 彼のお友達夫婦は皆さん子供も二人ずついて、 家族だけのマイホームを買い、 おまけに奥様は子供を育てながら仕事もし、皆美人。 何もかもうらやましいのです。 そんな集まりにわざわざ行きたくありません。 彼に参加したくない理由を聞かれ困っています。 納得できる理由ならいいといいますが、 正直に話しても、彼の性格上気にするなといわれそうです。 うまくごまかす理由はありませんか？