夫への対応はこれで良かったのか？

現在の夫とは留学中知り合いました。
私は1年しかいなかったのですが、夫は3年半いた為、私の前に韓国の女の人と付き合っていました。
夫のほうが相手をとても好きだったようでしたが、別れました。別れた理由は嫌いになったからではなく、彼女のほうが留学期間が終了し、国にかえなければならなかったからとの事。その後、私と付き合うことになり結婚に至りました。
しかし、彼は未だにその元カノと連絡を取っているようなのです。
以前、彼が韓国に単身遊びに行ったことがあり、他の男友達も数人韓国にいるので、その子達に会いに行くという名目で行っていましたが、どうやら元カノともあっていたようです。
それをだいぶ後で知ったのですが、（みんなで撮った写真を見てて、私が気づき、問い詰めたら白状しました）過去の事なので、いまさら言ってもしょうがないので、ちょっと怒っただけで終わらせました。
しかし、今日、彼から気になったから元カノと電話してたと聞かされました。しかも悪びれもなく。私は最初はカッとなりました。「なんで連絡すんの？なんで気にかけるの？これからもう会うこともない人なのに、なんで？」と問い詰めたら、彼は、「なんでそこまで言われなきゃいけない？もう会わないんだし、別にいいじゃん。今は友達だよ。嫌いで別れたわけじゃないから連絡取らないのはおかしい」と言いました。私は自分の気持ちを素直に伝えました。「そうだとしても私は嫌だ。嫌いで別れた訳じゃないからこそ、いやなの。もう連絡取って欲しくない。」彼は分かった、もう連絡しないとは言いましたが、正直ムリだと思います。どうせ取るだろうなと思います。私はこれからどう接すれば良いでしょうか？彼を信じて何事もなかったように振舞おうと思いますが、それが最善の方法でしょうか？それとももっと怒ればいいのか…アドバイスお願いします。