異性との食事や連絡（愚痴です）

現在、結婚4年目　子供は一人(３歳) 夫婦共に20代後半で共働きです。 文章能力がなく、分かりづらい点あると思いますが愚痴らせてください。 先日、妻が某動画配信アプリを視聴しながら寝落ちしてしまい、その際に携帯を切ろうと思った時にラインを見てしまったのがきっかけです。 妻の元彼氏(Ａ)さんと一昨年、こっそり会っていた事が分かってしまいました。その日、当時一歳の子供を私が保育園に預けて午前中から昼過ぎまで二人でカフェでお茶をしていたそうです。その際に結婚した事や子供がいる事をＡさんに伝えたと後日言われました。 お互い車を持っているのにもかかわらず、Ａが家まで迎えに来ていました。 この段階で、子供を預けてまで異性と遊ぶのはどういった神経なのかと理解してあげる事ができませんでした。 その後も度々連絡を取り合っており、 昨年の息子の誕生日の日の夜に、「今から会いたい」などの連絡を取り合っており、Ａの方から「明日なら会えるよ少しの時間でも大丈夫なら会おうよ」と連絡をしており、誕生日の翌日に二人で会っていたそうです。その際は、私には同僚と会ってくるから息子を見てくれるかと言っており楽しんでおいでと送り出していました。 息子の誕生日に隠れてそんな連絡を取り合っていたことに理解ができないし、嘘をついてまで会っていたことにがっかりしました。それに加えて、会いたいや当時は、本当に好きだった。などと浮ついた連絡が散見しており、しまいにはお別れした後に「離れると寂しくなる、この気持ちはどうすればいいの」「俺もだよ。この関係でも問題ないでしょ」みたいなやりとりをしておりその二週間後にも会う約束を取り合ったりしてました。 　 気持ちの整理がつかず、夫婦間で話し合ってるのですが ただの友達で何の感情もないとの事だそうです。浮気ではないと言われるのですが不貞行為はないにしても浮気だと思ってます。