彼氏が元カノと会う。理解できません。

こんにちは！ 今彼氏と付き合って5ヶ月です。 彼は元カノと付き合っていた時に同棲していて 元カノが猫を拾ってきて猫を飼っていました。 でも彼氏が元カノと別れて私と付き合うことになった時に、猫は元カノが引き取ることになっていました。でも元カノの家の都合で飼えなくなり、私の家に猫がきました。 でも元カノと別れて5ヶ月たった今、 彼がLINEのトップ画を私との写真から愛猫ちゃんに変えた時に、その元カノからLINEがあったらしく、「猫元気そうでよかった。」 「今度妹が大学行くから大阪にいくから最後に一回だけでも猫に会いたい。」と彼にいってきたみたいです。 彼は「俺もその立場なら会いたいから猫に会わせようと思っている。」と言われ私は「あなたが行く必要あるの？猫に会いたいんでしょ？」彼「じゃあ猫だけ置いてこればいいのか？」と言われ私はこれ以上言うと彼氏が機嫌悪くなると思い何も言い返せませんでした。 猫を手放したのは元カノなのに今更会いたいなんて理由をつけて彼氏に会いたいだけなんだと私は思います。 どうしたらいいか分からず、彼氏に嫌だってことをどういう風に伝えればいいのか分かりません。