職場の方への対応に困っています

職場で困った人がいてどう気持ちを持っていたら良いか分かりません。
掃除もみんなで分担しているのに、まわりが全然見えていないのか自分だけが掃除をやっていると勘違いして文句を言い始めました。
結局その方の担当していた部分が減る形になり、まわりの負担が増えました。
来る時間はほとんど変わりないのに、その人はやる部分が少ないので終わったら椅子に座ってくつろいでいます。

仕事上でも関わりがなければ、もういないと思って気持ちも切り替えられると思うのですが書類を渡したりなど関わりがあるためそうもいかず、イライラしてしまいます。

異性なのですが少し優しく対応すると、距離感が近くなったり、視線を感じてみるとこっちを見てたり、書類を渡す時もやけに目を合わせようともするので今は少し素っ気ない態度を取っています。(そしたらやけに人の横で溜息をついたり、飲み会に私とこういう感じだと楽しめないからという理由で欠席してました。)
ちなみに相手は独身で私は既婚者なのですが、以前の飲み会では私が頼んで口に合わず少ししか飲まなかった飲み物を断りもなく飲んでいました。これは普通でしょうか？

まわりの人たちに気を遣わせている気もして申し訳ないのですが、こちらが我慢して対応を良くしてまた距離感を近くされたりするのも困ります。
こういった場合どう気持ちを切り替えて、どう対応するのがストレスにもならずまわりにも気を遣わせないでしょうか？ご意見よろしくお願いいたします。