どう対応すればいいのかわからないんです。

趣味のイベントで何度か会い、メールのやりとりが週４－５回お互いを行き来する関係の男性がいます。 数回のメールのやりとりのあと趣味の集まりなどに誘ってみましたが、先約があるなどと言われ2－3度断られました。 でも、その代替案として趣味のイベントに誘われたりしました。 それについて行く気があることを伝えると、就業時間中にわざわざちょっとあわてた感じでどんな状況の集まりかの説明をメールしてきたりして、あんまりおもしろくないかもしれないから自分だけで偵察してくる、でもよかったらいらしてください・・・などと書いてきます。 来てほしくないのかと思いそれには行きませんでした。 するとあくる日に報告メールをくれました。 何度か断られたのでこちらからは誘わないでいますが、たまにイベントの誘いをくれます。 今回はまたお誘いがきてもうちょっと積極的ですが、やはり「他にやることがなければ」みたいな言い方。 私が行くとメールしたら、他の自分の仲間も連れてくる、と言ってきました。 それもかまいませんが、ふたりで会って話したいこともあったし、距離をおかれた感じがして「なーんだ」ってがっかり。 あくまでも趣味の関係、と線を引かれているんでしょうか？ こちらからは誘うのは困るということですよね？ メールのやりとりは楽しいのですが、それも本当はもっと控えたほうがいいのでしょうか？ いざとなると腰が引けてしまう向こうの態度を見ると、私の思いのほうが強く、積極的すぎる（自分からは誘わずメールのやりとりだけですが）のかな？と心配になりました。 私はふたりでも会いたいし、趣味のイベント以外で食事などでも会って関係を深めたいと思っています。 ご意見いただけるとうれしいです。