アルバイト先の同僚に悩まされています

初めて投稿します。
私は今都心の大学に通っていて一人暮らしをしています。女です。
アルバイト先の同僚に変な噂を流され困っています。

事の発端はアルバイト先での飲み会、
A君(悩みの種)が突然私に自分の身の上話をしてきました。親が離婚して大変だとか色々。
今までA君とはあまり喋った事がなかったので少しびっくりしたのですが、
私の両親も離婚していて少し気持ちが分かるので飲み会が終わるまでA君の話を聞いていました。

帰り道同じ方向の何人かとA君と電車に乗っていると
A君が私のことを家まで送ると言い始めました、A君とは降りる駅が違うので(私のほうが先)
駅からそこまで遠くないし彼氏がやきもちを焼くと冗談っぽく言って断ったのですが、
私が電車を降りたあと家まで歩いているとA君が後ろからついてきていました。
びっくりして、どうしたの？と聞くとA君は家に帰りたくないから泊めてくれ
と言ってきました。かなりしつこかったのですが無理だとはっきり断ると何とか帰ってくれました。


そして数日後アルバイト先の友人が、A君がmocoの家に泊まったて言ってたけど本当？
と聞いてきました。私は驚いて大否定すると友人は分かってくれたのですが、
A君は色んな人に言っているみたいです。A君と仲がいい人達はA君の事を信じています。
正直A君が何を考えているか分かりません。アルバイトにも行きにくいし、嘘の噂を流され心外だし悲しいです。
A君と直接話した方がいいのでしょうか？正直顔も見たくありませんが。それともみんなが忘れるまで待つべきでしょうか？

最後愚痴になってしまいすみません。乱文な長文を読んでくださりありがとうございました。