同僚からの好意？がしんどく感じます

同僚男性Aからの好意？依存？がとてもしんどく感じます。 割と年齢も近く、たいして意識もしていなかったのですが、以前職場の飲み会で隣になった時、みんなで話しているのに、私にばかり話しかけてくる感じでした。 距離も非常に近く、私が端にいたため追いつめられるほど近付いてきました。 周りの同僚もおもしろがって見ているような雰囲気だったので、その場で彼氏がいることを宣言しました。 その後、変な誤解があると嫌なので少し距離を置いていましたが、同僚Aが別の同僚男性Bに「気まずい」「避けられている」というような相談をし、私の方が同僚Bから「仲良くやってください」と言われてしまいました。 しばらくはなるべく気にしないようにしていたのですが、先日職場で2人になった際に(何にたいしての謝罪かわかりませんでしたが)謝られ、「(私の)存在がすごく大きかった」ということを話されました。 どういう意味での大きさかはわかりませんが、その発言自体が依存されているようでとても重たく感じます。 みんなで食事に行こうとなった時など、最初は行かないと言っていたのに、私が行くと言ったら「みんな行くなら行こうかな」と変えたりもします。 同僚Aとは部署は同じですが、やっている仕事内容が違うので、無理に関わる必要はないと思っていますし、正直あまり関わりたくないと思っています。 ただ、上記のようなこともあり、Aや周りの同僚たちに対して、どのようにすればいいかわかりません。 距離を置いたり、ハッキリ重たいということを伝えるべきでしょうか？ アドバイスいただけたら幸いです。