元夫と子供の面接

半年程前に離婚しました。 原因は元夫が子供のお金に手をつけ女性と交際していた事です。 今は私が4歳と2歳の子供の親権を持ち育てています。 離婚時《離婚協議書》を作成する際、元夫から《面接交渉権》がなかったので 『子供と会わなくていいの？』と尋ねたのですが イライラしながら『いらない』と言われそのままでした。 確かにどんなに子供からスキンシップをしても無関心。 家を出る際も子供の写真すら持って行きませんでした。 そして毎月一回振り込まれる養育費に対し私が 『受け取りましたメール』をするのですが、 最近、そのメールに対し元夫から返信が来るようになりました。 『子供は元気か？大きくなったか？一人の家は寂しい・・・』 という内容のです。 そしてついに『会わせて欲しい・・・』とメールが来ました。 4歳の息子は離婚後『お父さん』と発しなくなり忘れようとしているようでもあります。 まだ半年ですが、この間会っていなかった父親と子供を 会わせるべきなのでしょうか？