その言い方はどうなの？

ご覧頂きありがとうございます。
一般的な意見を伺いたく、立てさせて頂きます。

私は３０代の独身男です。

先日、会社の同僚に引越しの手伝いを依頼され手伝ってきました。
その際に同僚から言われた台詞とそれに対しての自分の対応について、
皆様のご意見を伺えればと思っております。

元々同僚との関係は特に悪かったとは思いません。
ただ、年齢と役職は私が上ですが、入社の時期は同僚の方が早いです。
小さな会社なので、あまりきっちりした上下関係はありません。
二人だけでは行った事はありませんが、仲間内で飲みに行く事は年に数回あります。

気になった発言は以下の通りです。

・同僚ともう一人の手伝いに来ていた友人Aが買い物に出掛けた為、同僚のお嫁さんと二人で新居で開梱作業をしていたのですが、買い物から帰宅後に
（お嫁さんに対して）「留守の間、何かされなかった！？それだけが心配だった」

・（引越しの手伝いを終えて帰る際に）「ヒゲマルさん以外はいつでも来て下さい」
二件とも少し笑いながらなので、本気では無いのは理解しています。

ただ、二回目の発言の際には私も露骨に不機嫌になった為、「冗談じゃないですか！」との訂正をされましたが、
冗談と分かっていても非常に気分を害されました。
朝から夕方まで半日以上、無償で手伝いをした者に対しての台詞とは思えません。（昼食はご馳走になりましたが）
少なくとも私なら絶対にこんな事は言いません。

普段から軽口を叩く事が多かったのですが、今回の発言については消化しきれない物があった為、
引越し以降、仕事以外での会話はしていません。

帰りはAと一緒に帰ったのですが、Aからは「（冗談なんだから）許してあげなよ」と言われました。

文字数制限の為、続きます