急に距離を詰められて気持ち悪い

大学生です。最近知り合った1個年下の他大学の男の子が居ます。
そんなに話したことも無く１回会っただけなのに、
インスタで親しい友達に追加される(私はしていません)
個人的に仲良くなりたいと思っているので……と言われる
LINEをグループから探されて追加される
食事に誘われる
で、今日夜食事の予定なのですが……正直怖いです。ストーカー味を感じて怖いです。気の知れた男友達とかなら全然いいけど
まだ知り合って間もないしそんな話してもないのに、好意を寄せられているのかすごく来るのが怖いです。今日も行きたくないです。
社交辞令で「いいよ！またご飯でも行こう」と言ったのが悪かったでしょうか……(その後すぐ誘ってきました)

と同時に、私も今までこうやって好きな人にアピールしてきて、同じように男性に「気持ち悪い」って思われていたのかな？と思うと、やり切れません。自分はモテないので、初めてこの気持ちを味わってみて、相手の気持ちがやっと分かりました……
とりあえず今までこのような「無理！」っていう相手には、彼氏いますと嘘をついて乗り切ってきました。今回もそうしていいでしょうか？