何が正解なのか？

初めまして！ 私→31才 バツイチ 子供はいるが元夫が引き取っている。 彼→39才 バツ２ 一人は引き取っている、二人目は元妻が育てている 彼母→近くに住んでいる。 私と彼は付き合って約四年、彼の家で同居を初めて3ヶ月です。 私は子供とは元夫との取り決めで、月一回の面会交流と習い事の送迎に月2～3回しています。彼の一人目のお子さんは、離婚したのが3歳くらい？で引き取るも、仕事の関係で近くに住む両親がメインで養育、彼の所に泊まりにくるスタンスで現在中２までやってきています。 問題は二人目の妻とのお子さんです。元妻は、彼の家から車で10分位の所に実父と同居中。彼氏あり。子供は現在6歳です。元妻は、自分の携帯から、子供に電話をさせてきては、仕事終わりに預り彼が朝送っていっています。それが週に4-5日週末も必ずです。養育費も支払っています。面会交流と養育費の関係せいがないのは理解できますが、預け過ぎかと思います。 子供と話すとご飯を食べてないとかもう小学生にあがるのに、文字の読み書きもできません。逆に一緒に勉強している事を彼が伝えると、イラン世話！とか食費とか雑費(髪をきったり、靴をかったり)おもちゃとかにもお金かかるし、こんだけしてるから養育費を少し減額できないかな？との相談にも、それならもう会わせないし、何も食べさせなくていい！したくてしてるんでしょ？と… 彼は子供が可哀想だからと預かります。でも、私は親権者はもっと責任をもって子供と向かい合って欲しいんです。絵本読むと喜ぶし、トランプすると楽しそうです。彼がその場しのぎでしている行動が、母としての自覚や向き合う機会を減らしているのでは？と思います。彼母は母親は変えれないのだから、彼に諦めて線を引きなさいといいます。 それも、また彼を苦しめるのか、彼母には預かっていることを隠して子供をみている状況です。私はどうすべきでしょうか？