会社の先輩との付き合い方

はじめまして。 20代女性の入社2年目です。 職場の異性の先輩との付き合い方について悩んでいます。 その人とは会社帰りに食事に行ったり映画を見に行ったりして、私としては良い先輩と思っているのですが、休日に二人で出かけようと誘われ困惑しております。 仕事とプライベートは分けたいと思っているので、休日まで会社の付き合いを持っていきたくはないのですが、ポロっと本人の前でその事を零したときに「会社の付き合いだと思っていままで食事に来ていたのか」と逆ギレされました。 正直ここでなぜ怒られたのか理解できてないです。私の考え方が間違っているのでしょうか？ また、彼からあからさまな好意を寄せられたことがあり、その際に（他の職場の人には内緒にしているのですが）私に学生時代からの彼氏がいることと、今後一切そういった恋愛対象にならないことは直接本人に伝えてあります。 今回の誘いについても一度はお断りしているのですが、「期待させるから、と言って断るのは止めてほしい」と言われどうしたものかと悩んでおります。 現在、回答の方は保留しているのですが、彼の方は遊ぶ気満々なのでだんだん断りづらくなっています。 最悪、急に予定が入ったと言えば引き下がるとは思うのですが、正直嘘をついてまで断りたくないです。 アドバイス、よろしくお願いします。