彼の家族に会いたくないから会わないのは我儘ですか？

私の彼氏は毎週土日のどちらかで実家に帰ります。その度毎度家に私もついていくのですが、正直に言って嫌です。 基本情報として、彼の家族は中国人で中国語しか話せません。私は彼と英語で会話しています。私は中国語なんて全くわかりません。彼の実家には彼が元カノと買った犬がいます。私は犬アレルギーで犬は触れませんし、小さい頃からアレルギーを持ってるので犬が好きではありません。 レストランで彼の家族と初めて会った時、挨拶した後、あなたは整形してるか？あなたの干支は何と聞かれてその後一切会話しませんでした。家族と彼は中国語で会話しているので、私はひたすらご飯を食べてるだけでした。 その後も彼の家族に会いに実家に行っても、彼と家族は中国語で会話するので私はいつも一人でご飯食べてるだけです。 犬が私のところに来ても私は絶対に触らないが 彼氏が触ってとか言うので、笑顔で触りその後すぐ手を洗いに行きます。手を洗いに行く行為や犬に興味ないことを彼の家族は嫌っています(彼の両親は私がアレルギーを持っていることは知っている)。そして彼の両親は私が根本的に嫌いで、見た目、歳(私は24歳で彼は34歳)、仕事全てに対して気に食わないみたいで、早く別れろと彼氏に言ってるみたいです。(この話は彼氏から直接聞きました) 上記のことを踏まえて私は彼の家族に会うのが嫌です。彼の家族に嫌われていて、好きでもない犬も触らないと嫌な顔されるから触って、同じ空間にいても会話がないからひたすら食べてるだけの時間は凄く嫌で初めて今日彼の実家に行くのを断りました。そしたら彼は怒って実家に向かいました。 家族に会いたくないというのは、わがままなのでしょうか。上記の理由だけで嫌いになりだから行きたくないと言うのは良くなかったことでしょうか。 意見を聞かせてください。