ダイエット中でイライラしている彼氏

現在、彼とは彼の家に泊まる形で
週に一回のペースで会っています。

2週間程前から彼と共に
ダイエットを始めました。
2人とも交際から1年半で10kg増え
彼が先にダイエットを始め
それにつられるように私も
ダイエットを開始しました。

私は彼と付き合ってから
食べる量が異常に増えた為
消費カロリーを下回る摂取カロリーで
抑え軽いストレッチを取り入れました。
朝にしっかり、昼と夜は
野菜や豆腐を中心にした食事です。

彼は元々運動量の多い仕事をしており
体を動かし食事の量を減らして
ダイエットをしていたようなのですが
私の体重が早い段階で落ち始め
見た目が痩せていくことに
納得がいかないのか
昨日久しぶりに会うと
私の言動に気に入らないことが
あったようで「本当にネガティブだな」
と言われてしまいました。

私も自分で気づかない内に
彼への言動がキツくなって
しまっていたのでしょうか？
彼にそんな思いをさせるのも嫌なので
当分の間は会いに行かない方が
良いでしょうか？

どんな意見でもいいので
お聞かせいただけると有難いです。