子持ちの彼との恋愛

彼 45歳 バツ2子持ち（1歳）
私 41歳 バツ1子供なしです。
現在同棲半年です。私の一目惚れで私から告白してお付き合いがスタートしました。（彼も気になってくれてたとの事で）離婚理由は元嫁が全く家事をせずで彼の仕事が早朝の事もあり、子育てが始まってから仲が悪くなったとの事です。彼は子供と離れたくないと離婚は拒否したのですが、結局揉めに揉めて離婚したようです。数ヶ月は何事もなく幸せに過ごしていましたが、最近帰ってくる時間や連絡が取れない事が増えてきまはさた。もともと仕事が不規則な為、気にせずにいたのですが、うっかり彼と元嫁とのLINEを読んでしまいました。（ロックをかけていない為、画面に触れた際LINEを見てしまいました）相手が元嫁と気がつかず浮気だと思ってどういう事か聞いたところ、ここ最近連絡を取って頻繁に会っているとの事で、彼から〇〇に行こう！と頻繁に誘っているようでした。彼曰く、どうしても子供に会いたいとのことで…。
それなら別れて家族に戻ればいいのではと言ったのですが、復縁は全くないとの事で、子供とスムーズに会うために元嫁のご機嫌を取ってるのだと。わかって欲しいと言われました。私もLINEを読んだ事は謝り一度は元に戻りましたが、今までも子供に会うたびに私に嘘をついてたのだなぁと思うのと苦しく、現在も会うときは言ってくれたらいいよと言っても言いづらいからと教えてくれません。普段の会話も嘘をつかれているのではと勘繰ってしまう自分も嫌ですし、ずっとモヤモヤします。
そんな彼ですが、私は大好きで断ち切る事が出来ません。40歳で1人になるのが寂しいというのもありますし、もう恋愛出来ないのではないかという不安もあります。キツい言葉でいいですので、ご意見と勇気を頂ければと思います。