彼氏との趣味の共有度について

元カレとの話なのですが、腑に落ちない部分があるので皆様のご意見をお聞きしたいです。 別れるときに彼から 「君は俺に興味が無い。 俺が弟とスポーツをしに行くって言ってもついてこないし、 星を撮影しに行くのも付いてこない。 ゲームをやってても見に来ない。 俺のことはどうでもいいんじゃない？」 と言われました。 もし彼から「一緒に来る？」と誘われたうえで私が断ったなら彼の言い分も分かるのですが、 全くそのような誘い無くこのような事を言われました。 その時は「そんなつもりは無い。ごめんね。」と伝えたのですが、後から考えると「彼は随分受け身なのでは？私が怒られる必要あったのかな？」と思いました。 ちなみに、特別コレといった共通の趣味は無いのですが、お互いの好きなアニメを把握していて、グッズを見かけたらお互いに買ってきたり、物語の展開を聞いたり…と、共通という程ではないけど理解があって話せる趣味がある、といった感じです。 なので、全く趣味の話をしていないという訳ではありませんでした。 相手の趣味に乗ろうとしなかった私が冷たかっただけなのでしょうか？ ご意見お聞きしたいです。