復縁後の彼の行動について。

こんにちは。
みなさんの意見が聞きたくて、質問させて頂きました。
私は32、彼は27で4つ違いの年下です。

お互いバツ１で、私には子どもがいます。
3年付き合い4月に一度1ヶ月別れていました。
それでも、子どもには会いたい（彼の子ではないですが、懐いてはいます）と、週１，２回来ていました。

けっきょく1ヵ月後には帰ってきましたが、まだ自分の家は（職場の寮に入っています）あるので、ちょこちょこ帰ったりはしていました。

最近、彼が別れてた時期に関係を持っていた子がいることが発覚しました。
やはりショックで、別れるか迷っています。
でも、「そのときは別れてたから」と言われると私が口を出すところではないのかなとも思います。
また、「付き合ってる今はもうそんなことしない」とも言ってます。
その子は、職場の同僚で、同じ寮に住んでいるためお互い行き来していたそうです。
しかし、いまだに連絡は取っており、それを隠しています。
携帯を見て、無理に傷つきたくはないのでこっそり携帯を見たりはしていません。バレないように連絡を取ってくれればいいのに、私と一緒にいるときでも普通にメールが入ってくるため、さすがにまだ連絡取るつもりなのか、彼に聞きました。
「友達だから、今はそれだけだから。べつに頼んでもないけど写メ送ってきたりするだけだよ。」
と言います。
そこまで言うなら、きちんと隠さないでメールを見せて欲しいと伝えたところ、見せてくれたのですが、全て消してました。
でも、グループのメールが残っており、そこには、最近同僚何人かに、彼から海に行こうと誘っており、全員男性の中に、一人だけその子もいました。
同僚は私と戻ったことも知らず、その子と付き合ってると思っていたそうです。
私が彼に執着しすぎなのでしょうか？彼といると苦しくなります。
いいアドバイス頂ければ幸いです。よろしくお願いします。