バツイチの人と結婚は、変ですか

４年前にバツイチの彼と結婚しました。（不倫とかはありません）
あるサークル内で出会い結婚しましたので、いまも同じサークルに参加しています。
ただ、夫が仕事で忙しいため最近は私一人の参加となってしまっているのですが、
その中で、夫の話になると、ある男性が必ず
「だけど、バツイチだけどね」
と言います。
たとえばの会話ですが、
サークルの人：「○○（夫の名前）さん、元気？」
くるる：「元気だけど、最近忙しくて」
サークルの人：「この不況時に忙しいのはいいことじゃない」
例の男性「だけど、バツイチだけどね」

と、とりあえず、付け加えるという感じなのです。
バツイチなのは、みんなも知っています。
バツイチなのはわたしではないので、どう答えてよいかもわからず
聞き流していたのでが、あまりに言われる回数が多く
うんざりしてきてしまいました。
わたしが参加していない時でも、私たちの話になると、必ず「バツイチだけどね」と言うそうです。

その男性は決して、性格が悪いとかいやな感じの人ではないのですが、
なぜそこまでバツイチにこだわるのか、不思議でならないのです。
その男性は、夫の会社の後輩で、夫をすごく慕っていたのですが。。。。

ちなみに、彼が以前に結婚していた時の知り合いはそのサークルには一人（例の男性も含め）もいません。

バツイチと結婚するっていうのは、そんなに変ですか？
周りのひとも、その発言の度に困った顔をしてしまいます。
その男性はどんな答えを求めているのでしょうか。