離婚後、子供に会っていますか？離婚の理由を話していますか？

妻が不倫していた事、管理を任せていた財産を全て使い込んでしまった事が原因で離婚しました。 2歳になる息子がいます。 両者弁護士を立てて争いましたが親権は妻、私は養育費を払うと言う事になりました。 妻は実家には帰らず、私の家の近くに母子で住んでいます。 仕事をしていないので生活保護、母子手当、養育費、実家からの仕送りで生活しています。 子供とは月1回面会する約束になっていますが、 週末になると元妻から「子供がパパと会いたがっている。会ってあげて欲しい」と連絡が来るので実際は毎週末会っています。 元妻は玩具は買い与えるが積極的に遊んでいないらしく、私は体一杯全力で遊ぶので子供の中では「パパ＝週末に公園で鬼ごっこしたりプールに入ったり遊んでくれる人」となりつつあるようです。 「会えるのであれば会いたい」「子供の願いなら」と思って今まで過ごしてきましたが、 子供の将来を考えると、本当にこのままでいいのかと思うようになりました。 子供は愛していますが、元妻とやり直す気は全くありません。 不倫が発覚した時も子供が幼い事を考慮して再構築を1年ほど試みましたが、 その間に財産の使い込み、それに伴う諸々の嘘が発覚した為離婚に至りました。 子供が幼いので面会時に顔を合わせますがそれすら苦痛でなりません。 今後子供のためと言う名目で元妻の要求がエスカレートする可能性があります。 又、子供が大きくなるにつれ「何故パパとママは離婚したのか」と言う疑問が湧く事でしょう。 その際真実を子供に伝えて良いものか、子供としてはママの不倫が原因だろうとママと共に生きて行くしかないわけで、 子供とママの信頼関係にヒビを入れる様な事はしたくありません。 しかし、私の心情的に不倫を避けて離婚の説明が出来るかどうか解りません。 何か良いアドバイスがあれば御助言下さい。