過去の人に固執する彼について

29歳のリサと申します。
４ヶ月間お付き合いしている私の彼が、前の彼女と連絡をとりつづけていることに悩んでいます。彼と元カノは半年前の３月まで１年間付き合っており、４月から彼が遠いこの地に移動するためにお別れしたそうです。彼は以前、「嫌いになって別れたわけじゃないから。」と言っていましたが、私が「元カノとの連絡をやめてほしい」と強く伝えると、今度はケータイをシークレットモードにしてまで連絡をとっているようです。ある日シークレットモードをOFFにし忘れていたようで、彼にはごまかされましたが、偶然私の目に入ってしまいました。
私と彼が一緒にいるときに元カノから電話がかかってきたことも２回あります。そのうち１回はわたしのお誕生日の夜でしたから、その後すごくケンカになり、わたしのお誕生日が台無しになってしまいました。元カノに私から連絡しても良いかと聞くと「俺たち二人の問題なのだから、他に矛先をむけるな。」と言われすごく怒られました。

もともと移動は決まっているのに付き合いはじめ、お互い納得して別れたとのことですが、元カノのことが心配なのでしょうか…。
彼と私は、仕事以外の時間は、週５日くらい一緒にいます。それ以外の時間をねらってコソコソと連絡をとっている様子を想像するだけで悲しくなります。どんなふうに考え方を変えたら消化できるのか分かりません…。
彼は、私の元彼のこともすごく気にしますし（私はもう連絡はとっていません）、すごく過去を気にする性格なのかもしれません。私が彼に優しくしたり甘えたりすると、ときどき「これまで付き合ってきた人にも同じことしてきたんだろ」と言って機嫌が悪くなったりします。

彼のことは大好きなのに分からないことばかりで悲しいです。
何か言及してくださる方、宜しくお願いします。