社長のデリカシーのない発言。。

会社の社長についてです。 現在私は育児休業を取得しており、お休みをいただいています。会社で産休や育休を取得する人が初めてだったので、制度について社労士さんを通じて社長と話し合いをしていました。 そのとき、社長から”離婚すれば保育園は入りやすくなるよ”と笑いながら言われ、、驚きましたが笑って流しました。 そして先日、私がお休みに入る前まで居た職場に行き後輩と話していると社長が私のことを”使えるコマは使わないと”と言っていたと会話の流れで教えてくれました。 新卒から長い間勤めている会社で、社長のデリカシーのない発言は何度もありましたが さすがに悲しい気持ちと何とも言えない怒りが 込み上げてきてしまっています。 社長に直接言うべきなのか、飲み込んで我慢するか、、悩み続けています。 皆さんなら、どのように対応をされますか？