別れ際の言葉について

40代前半のカップルです。 復縁を経て、交際期間トータル4年半、その間に1年半の離れていた期間があります。 昨年、旅行中に喧嘩をしてしまい、2か月の冷却期間の後、別れ話に発展しました。年末に話しあった際は、和やかな雰囲気まで回復し、年末年始休暇を挟んで考えようということになり、ハグして、別れました。彼は休暇中、海外に一人旅にでており、その間たまに写真を送ってくるなど、LINEのやり取りが少しありました。何にしても、しこりが残らないように、再度話したくて、先日食事を提案したところ「考えたんだけど、飯食ってる時に、デブ扱いする人と飯いきたくならないわ」とのみ、返信されました。 実は、喧嘩の一因が、軽い冗談で、食事中に、彼の体型のことにふれたからでした。178cm 90kgのがっしり筋肉質ではありますが、肥満ではないので、全く本心ではなかったのですが、近くにいた本当に太った方と比較するような発言をしてしまいました。 普段から、冗談でお互いを落としあうような会話があったり、街中であの外国人とどっちが大きい？と聞いてきたりするのですが、その時のことは、冗談で終わらず、軽率な発言をしてしまったことを深く反省しています。いい歳して、本当に稚拙な内容だな…とは思うのですが。 一方で、最後の彼の返信にすごく落ち込むと共に、もう会いたくない、食事を断るにしても、他に表現方法がないものか…と思う部分もあります。 仕事はバリバリできるのですが、喧嘩をしたりすると、どこか冷徹で、ナイフで刺すようなメールを発することが、以前にもありました。優しい時と冷めた時の言葉や態度が大きく違うので戸惑い、長い付き合いの中で、ひっかかる部分でもありました。 彼の言葉から、もう今後先はなさそうなので、考えても仕方ないかもしれませんが、この言葉について、皆さんどう思われますでしょうか？わたしが弱すぎるのでしょうか？