やってしまいました・・人間関係

4月から配属になった職場での話です。
私含め同年代(20代半ば)の女3人、30代男女、
50代の男女複数の全部で10人強のチームで仕事をしていまして、
飲み会などもこのチームであります。
20代女の中におそらく90kgくらいの体型の方がいます。
私は母もそれ以上に太っていますしさして気にしたこともないですし、
人の外見をとやかく言ってはいけないと思っています。
ですが、50代男の一人が、人の外見をネタにして
しょうもないことを言って笑います。
例えば会議室に入って寒かったとき、
その太った女性に対して「○○さんの近くへ行けばあったかそうだね」等です。
私は耳があまりよくなく、仕事には支障がないのですが
日常生活ではろくに聞き取れなくても
あまり聞き返しては場の空気が気まずくなると思い
適当に相槌を打つ癖があります。
(大事な話や親しい人の話は徹底的に聞き返します)
で、配属された直後あたりに、まさかその50代男性が
そのような笑いを取る人間だとは知らずに
（そんな下品な人、今まで身の周りにはいませんでした)
そのような類の男性の発言に相槌を打ってしまったことがあります。
それからだと思うのですが、
その女性に徹底的に無視されています。
幸い、他の人との関係はうまく言ってるのでチーム内で孤立、ということはないのですが・・
その女性に無視される原因がそれだと気づいたのは最近です。
4月の出来事にいまさら謝っても・・という気もしますし、
そんなことで謝られても私だったら恥の上塗りと感じます。
ろくに聞こえてもないのに適当に相槌を打って流す私が一番悪かったのですが、
この先の職場での振舞い方に何かアドバイスをいただけませんか？
一対一ならこのままでも構わないのですが
チームで動くことも多いため少しでも好転したいです・・