忘年会での男性の発言について

私が勤めてる会社には既婚で子供がいない女性（Ａ子）がいます。 「Ａ子ちゃんは子供ができなくて悩んでるらしい」とＢ男さんから聞きました。 私とＢ男さんは、Ａ子と勤務場所が少し離れてるので毎日会うわけではありませんが、飲み会は一緒になり、その度にＢ男はＡ子に「子供をなぜ作らないのか」「子供は産むべきだろ？」と執拗に聞きます。 Ａ子は明るく返答していたので、私はなるべく他の会話になるように話題を変えたりしていました。 でも、今年の忘年会でも同じ事を言い出したので、あまりに失礼だと思い（私も酔っ払っていたので） 「Ｂ男さん、そういうプライベートなことを聞くのは失礼ですよ」と言うと、Ｂ男さんは 「なぜ、失礼になるのか理解ができない」と言います。 「いろんな考え方の人、事情がある人がいるのに、自分の考えを押し付けるのは失礼です」と私は言いました。 でも、本人から直接に事情を聞いたわけでもないのに、 「何か事情があるのかもしれない」と考えることのほうが失礼なのかもしれません。皆さんはどう思いますか？