バイト時代の先輩からの誘い

以前同じバイトをしていた男性との付き合い方に悩んでいます。

私は大学生女、相手は社会人1年目の男性です。
バイトを辞めたあとはほとんど関わることがなかったのですが、今年の4月に相手から誘われて二人で野球観戦に行きました。
お互いに野球が好き、就活の相談等の理由もあり、全く抵抗はありませんでした。
それからも同じように野球観戦に行ったり、バイト時代の仲間で集まったりと月に1回くらいのペースで会っています。

そして日曜日にその方から次のお誘いの連絡が来ました。
不思議なことに全く気が進まず、返事をしていません。
自分でもよくわからないのですがその方と会うこと、話すことが億劫に感じてしまいます。
ただこのまま無視するのも後味が悪いので返信をしようと思っています。

そこで何と書けばそれとなく私が乗り気ではないことを伝えられるでしょうか？
（一度忙しいという理由で断ってみたのですがあまり伝わっていないようでした。）
それとも返信しなければ自然と伝わるものでしょうか？
くだらない悩みかもしれませんがご回答いただければ幸いです。
宜しくお願い致します。