彼との話題で共通するものが少ない

同じ趣味の友人同士が集まったサークルで知り合った彼と付き合い始めて三ヶ月になりますが、最近二人で会ったときの話題に困っています。
彼は４つ年上でお互い社会人、共通趣味がありサークルではその話でよく盛り上がっており意気投合して付き合う事になりました。趣味等が全部同じ相手がいないのは分かってますし、自分とは違う所のある人との会話は実りがあると思っていたのですが彼とはどうもサークルでやっている共通趣味以外で趣味趣向が殆ど被りませんでした。

なので最初はお互いの話を興味津々に聞いている感じだったのが、会話が増えるに連れて「この話をしたいけど前提から話さなきゃ」という事が多く片方がずっと説明している形になってしまいます。
それではダメだとお互い次に合うまで相手の話題にでた事を調べて来るのですが、それが私にはどんどん負担になって来てしまいました。彼は気を遣ってくれているのか嫌な顔はしませんが、毎回「君がこの前話したの調べて来た！」「この前勧めたの見てみた？」と報告されるとこちらも応えなきゃならない気がして毎度レポートを書かされている気分です。
加えて何とかこういう事なのかな？とお互い自分の分かる範囲で例えをだしたりするのですが、それも両者頓珍漢な事を言っていて、でも否定すると会話が成り立たないし…

二人で政治経済の話ばかりしているのもおかしいと思うのですが、かといって分からない話題の説明を交互にしているという状況もプレゼンみたいで気を張ってしまいます。
勉強会ではないので相手に一から十まで説明して自分の感想を話して相手の話題を帰宅したら調べて次に備えて～というのを止めて、少しで良いので「○○って知ってる？」「あぁわかる！」見たいな共感が欲しいのですが…やはり私の我儘なんでしょうか？