上司の家に行きたくない

私は30代会社員で、社宅に住んでおります。 社宅は、家族連れで入居する方も多く、今回たまたま直属の家族連れ上司（男）が下の階、私（女）が上の階に住むことになりました。（転勤族のため期間は決まってます） 上司のお子さん（女、小1）に懐かれ、お手紙を貰ったりします。 内容は、概ね「お家に遊びに来てください」です。 上司の奥様にもよく、遊びにきてくれ、食事しにきてくれとお声掛けいただきまして、何度か行きました。 私自身、仕事は仕事、プライベートはプライベート と分けて生活していたいタイプでしたが、上司や奥様の意図がなんであれ、子どもの無邪気さを無下にするのも可愛そうでちょっと遊ぶだけであれば、たまになら付き合えるかなと思っていました。 ですが、訪問回数が増えていくうちに変わったことがあります。（お付き合いはまる2年になりました。） 私がいるのにも関わらず、上司や奥様が、ガチトーンで子どもに説教（叩いたり、小突いたりすること含む）するのです。 生活していく中で説教が必要でな時もあるでしょう。 しかし私は、その現場に居合わせることがとても辛く苦しいです。（自分の過去と重ねてしまいもう本当にダメです。） ですから、できるだけ訪問回数を減らして、距離を置きたいのです。 そう思っていても、無邪気なお子さんからは遊びに来てくれとお手紙が届くのです。 とても心が苦しいです。 自分の精神を犠牲にしてまで、子どもに寄り添うために変わらず遊びに行くべきか… 正直に自分が辛いことを上司や上司の奥様に伝え、改善してもらい、これからもお付き合い続けていくのがいいのか。（いくら子どもの為とはいえ、自分達の説教聞きたくない！と言われたら憤慨されそうな気はしますが…） 似たような経験された方ですとか、親の立場にある方の率直なご意見をお聞かせ願いたく投稿します。