子どものことを話したくない

最近育休から復帰しました。
事務職で、同僚は10名ほどです。(全員女性)

勤めて長い人ばかりだと思いますが、お互いの家族の名前・在学校・職場などみんな知っていて「〇〇ちゃん(同僚の子ども)元気？」などと言い合っている感じです。
私も入社当時は色々と聞かれたので雑談だと思い家族のことを話してしまったのですが、未だにそのことを覚えていて「お父さん〇〇に勤めてるんだよね」などとみんなの前で言われてゾッとします。もう5年以上前の話なのに……

主に休憩時間に休憩室に行くと誰かしらに捕まって根掘り葉掘り聞かれるので、今は休憩室に寄り付かずお昼も外出して逃げているのですが、なんと今度全員でランチ会をすることになってしまいました。
会社主催なので断ることは許されず、そうなると子どもの名前は何か・保育園はどこなのか・写真を見せろと言われると思います。

なんとか上手く逃げられないでしょうか？