異性との電話について

37歳既婚男性です。 読みづらくてすみませんが、相談させてください。 夫婦間の異性との通話での悩みです。 妻とは同い年です。 先日、以前の職場でお世話になったとある夫婦の夫側から電話がかかってきました。 話の内容は、自分の話になり、元気にしているか久しぶりに話してみようということになり、電話したとのことでした。以前の職場で二人にはお世話になってたので、相手の夫側とも妻側とも面識がありました。 久しぶりということもあり、近況報告などをして電話を終わったのですが、問題が起きました。 自分の妻が、なぜ相手の妻ともはなしているのか？女としゃべってたよな？と、激怒していました。 以前の職場でお世話になっていたことは、妻も承知でいます。同じような内容で、1～2年くらい前に電話があったのですが、その時も妻には説明しています。 妻の言い分としては、 ・以前の職場でお世話になってたとしても、妻（女）としゃべるのはおかしい ・相手も、こちらに妻がいることをわかっていて電話してくるのは非常識だ ・女と話をしているのをきいて、どんな気持ちになっているかわかるか？ と、いわれています。 自分から相手の妻にだけ連絡をしていれば大問題ですが、相手からかかってきて、話の流れで相手が電話をかわって話をしただけなのにそこまで怒るのが理解できません。 ちなみに、自分は妻から異性の連絡先を削除するようにいわれていて、従っています。 ですが、妻は怪しい関係になった相手の連絡先を平気で残し、嫌だといっても「だから何？言ってれば？」と、平気で言います。謝罪は、一応しますが、ただ言ってるだけの感じです。 妻が言うように、妻の気持ちを理解できない自分が悪いのでしょうか？まったくもって腑に落ちません。 皆様の意見を聞かせていただければと思います。よろしくお願いします。