同じアイドルヲタクなのに分かり合えない

私には付き合って二か月ほどの彼氏がいます。お互い三十代です。
二人ともこれまで恋人いない歴＝年齢でしたので、初めての恋人となります。
先日初めて彼の家を訪れたとき私の目に入ってきたものは、隠すことなくそこらじゅうにあるAKB48のグッズでした。
彼に「女性アイドルのファンなの？」と聞いたところ「そうだよ。引いた？」と弱々しく言われました。

そのとき私が思ったのは「ラッキー！この人なら私の趣味も分かってくれるに違いない！！」
というものです。なぜなら私も男性アイドルグループの大ファンだからです。
知人に明かすと引かれてしまうと思い、誰にも言わずに隠れヲタをやってきました。
しかし、隠さず自分の趣味を見せてくれた彼の前なら私も隠す必要なんてない！と嬉しくなり
「全然引かないよ。私も男性アイドルグループのファンだし」と正直に話しました。
お互いの趣味を分かり合ったうえで付き合えるなんて、何と素晴らしいことだろうと感動し
彼も同じように喜んでくれるだろうと思っていました。

ところが！彼は私が男性アイドルグループのファンだと知った瞬間、ブチきれたのです！！
「彼氏がいるのに男性アイドルグループが好きなんて許さない！」と豹変して怒り出しました。
私は訳が分からず「あなたが女性アイドルを好きなのを、私は普通に許せるよ？」と言ったのですが
「あずさが許しても俺は許さない！今すぐファンをやめろ！！」と物凄い剣幕で
筋が通らないことを言うのです。私がどんなに反論しても意見は変えないままでした。

それまでの彼とあまりに違う態度にビックリして、また怒りも生まれて
喧嘩したまま彼の家を去ってからこの数日間、メールで押し問答が続いています。
みなさん、これは彼の言い分がおかしいと思いませんか？
私はいくら愛する人の頼みであろうと、ファンを辞める気はありません。
彼と分かり合ったうえで付き合いたいです。