これって地味なハラスメント？

既婚者や子持ちの女性が多い職場で働いています。何気なく雑談していたら、託児所の話になって、あなたは預ける人（子供）いないでしょ～と言われてしまいました。主は、31歳独身。笑って流したけど、周りの空気が凍りついていて、ちょっとショックでした。 その人は、60代女性でお孫さんがいるようで、嬉しそうに話しています。 それから、職場の人達に何となく気を遣われているような。 結婚も子供も興味なかったので、ふ～んという感じですが、ちょっと居心地は悪いです。 仕方ないと思い今まで協力してきたけど、何かと子持ちの方が優先だったり、待遇面も良くないと思っていたので、もう辞めようかなと思っています。こんなことがキッカケで辞めるって、どう思いますか？