別居後、子どもの面会について

離婚を前提に別居をはじめて数ヶ月の女性です。 子どもが2歳なので、物心がつかないうちに別れたほうがいいと思ったのですが、 最近息子がパパは？とかわいい声でよく聞いてくるようになり、そのたびに胸が痛みます。 夫は会うのは楽しいけど、別れる時に辛い思いさせるのは良くないと言い、あまり会いにきてくれません。 別居して以来、3回くらいです。子どもは別れる時は大泣きするけれど、5分もすればニコニコしています。もともと切り替えの早い子です。 別れる辛さは一時だけど、会うときの楽しさは心に残って、子ども心に安心感が生まれると思うのですが… ご意見頂けたら幸いです。