上司の一言。気にしすぎでしょうか？

こんにちは。もうすぐ４０才になる既婚女性です。
先日営業の研修で直属の上司(４０代後半既婚男性)とＯＪＴ中のことです。
運転は私、上司は助手席でした。
その中で話の流れで家族の話になり
「ハンナさんは子供いないんだよね。治療とかしたの？」といきなり私を不妊で子供に恵まれなかった女性と決めつけたかのような発言をされました。
「いえ、別に…」と答えたら
「老後とかどうするの？淋しいよ」と言われました。
面倒臭くなりそうな気がして後は適当にかわしてその話は終わりにしました。
実際のところ他に理由があって子供を持たなかったのですが、不妊治療の経験はありません。
ですがもし私が本当に不妊に悩んでいたとしたらかなり無神経な発言だったと思うのです。

私の職場には女性が多くいて時々同じようにこの上司と同乗訓練があります。
直属の上司がこの調子ではいずれ問題が起きそうな気がします。
私は女性スタッフの中でも割りと先輩に当たるため、ある程度後輩のケアも必要かと思っています。(役職に差はありませんが)
このまま放っておくか、社内のセクハラ・パワハラ相談窓口に一報すべきか考え中です。皆さんのご意見をお聞かせください。