彼氏にアプローチする女性に警戒したら彼が怒り出した

彼（60代バツイチ）、私（50代独身）、つきあって1年くらいたちます。
行きつけの飲み屋で知り合って交際していますが、
他の常連客は私たちの関係を知らないと思います。

先日、行きつけの飲み屋に行くと常連客のA子が、
カウンターで彼の隣に座り、彼にボディタッチしてきたり、
彼に「一緒にどこそこに行きましょう」とアピールしてきて
それを見てモヤモヤしたので先に帰りました。
彼に電話でその件を話すと「実は、最近LINEでも仕事の悩みとか
いろいろ相談されていて、ちょっとうっとうしいんだよね」
と話してくれました。
よくよく聞いたら仕事の悩みだけでなくたわいもない話もしてくるようで
いくら常連同士といえど、そんなLINEを異性の友人にするんだろうかと
ますますモヤモヤしました。ちなみに彼とA子の仕事は異業種です。

以前はA子に対していやな感情はなかったのですが
そういう話を聞いて平気ではいられなくなり、
「A子がいや」「あなたもどうして一緒にいてヘラヘラしているの」と
怒ってしまいました。すると彼が逆ギレ。
「僕は彼女のことを女性として見ていないから大丈夫」
「君はどうして怒るのか、おかしい」と怒りだし、
あげくのはてに「この話はやめよう」と電話を切ってしまいました。

「おかしいとまで言われて、そこまで言われることないと思う」と
LINEすると「間違いなく、君はおかしいです！」と強い口調の返事。
しかも「僕は人の悪口を聞きたくない」と。

自分のほうから「A子さんから最近よくLINEがくる」と
私に伝えておきながら、私が怒ったら
「君はおかしい」「悪口を聞かされるのはいや」と反論するの、
そっちのほうがどうかと思うのですが…。

共通の知り合いには相談できず、ご意見をうかがいたいです。
私も怒ってしまったことを反省していますが、
彼の言い分は勝手すぎないでしょうか。