痩せた理由

付き合って1年3ヶ月、社内恋愛中の彼がいます。
最近喧嘩が増え、ダメだと分かってるのですが、仕事中も不機嫌になる事もありました。(業務はこなしています)
また夏頃にダイエットをしました。気分的な事から食事量も減ったので急激に痩せました。

私達には付き合う前からよくご飯に行く仲の良い男性上司と女性上司がいます（今秋結婚予定）バレてる気もしますが関係は伝えていません。

その2人と彼が昨日ご飯に行きました。
そこで彼は、私が痩せたのは彼が暴言を吐き、精神的にまいっているせいだ。などと言われたそうです。

もちろん私は上司にそんな話はしていません。
暴言？はあります。ただ付き合う前からの冗談の範囲だとお互い認識してます。

私の態度でそう判断されたのかもしれません。付き合ってる事は隠したいので、上司から彼の話が出てもそっけない返しをしてるのは事実です。

彼は私が何も言ってないことは信じてくれています。
このまま変な誤解されるのは嫌なので、上司に私からも否定したいと彼に伝えたら、それは根回しみたいになるからいいと言われました。

私は本当に何もしなくて良いのでしょうか？