長文ですみません。（職場の後輩男性から誘われます）

職場の人間関係についてです。
私の職場に1個下の後輩男性がおり、普通に職場で話す程度。
ある日後輩からご飯の誘いが来ました。彼氏がいるので2人きりでは行けないと話していたので、他にも誰か来るのかなと思い、私も昼なら予定ないよと普通に返事をしたところ、昼に2人でご飯行くことになりました。その時にもう一度断れば良かったのですが。特に恋愛感情とかはないのですが、彼氏にも罪悪感があったので(ちなみに何人かの飲み会は全然参加できます。)
それ以降もご飯行きましょう、飲みに行きましょうなど誘いは続いていたため
また2人で行くことになるのは嫌だなという思いがあって
予定ある。
疲れ果てて休みの日は休みたい。
飲み会セッティングしてくれたら行く！
予定がまだわからない！
など返信していました。
それでもいつ空いてますか？とラインが来ていたため、既読スルーをしてしまいました。
ラインだけではなく、職場でもまた今度飲みに行きましょうと直接言われることもあったので、いきましょうとだけ返事をしていました。
後日親しい同僚が呼び集めた飲み会に参加しました。その後輩も来ておりその際に色々言われました。
「直接の時は行きましょうって言うのにラインだと無視するってなんなんですか？！こっちはかなりイライラしてて今日この場で全部言おうと思って来たんです！あれ、本当腹立ちました！2人きりで行けないことなんてわかってますよ！あなたを狙おうなんて思っているわけないじゃないですか、自意識過剰なんじゃないんですか？！だからもう誘わないと思ったし、もういいんですけど！」とかなりキレられて恐怖でした。それから数ヶ月後また誘いの連絡が来ました。私が悪いのはわかったのですが、正直彼にはもはや恐怖しかないのでもう関わりたくありません。みなさんならどう返事しますか？飲み会あれば行きますか？