会社の人お誘い・・断り方。

私は４０歳。 一緒に働いている人（６５歳の男性）に仕事が終わった後に 食事でもどう？と誘いを受けました。 二人きりではなく、以前職場にいた人（５０歳女性）も誘っています。 私は１年前に入社したのですが、その人は以前勤めてた人なので 私は面識がありませんでした。 １度、その３人で食事はしたのですが・・・。 私も断る理由も見つからないで困っていると、もう一人６０歳女性も 誘っていました。（その人も以前勤めてた人で一緒に仕事をしたことはありません） その人とも、今回誘ってくれた男性と以前３人で食事をしました。 正直、あまり気が乗らないので断りたいのですが 私の都合のいい日を聞いてくれるので、その日はダメとは云えないのです。 あと１０日ぐらい先なのですが、今回は約束したので　行くにしても 次回からも誘われたら、なんと断ればよいでしょうか？ 私以外の３人は一緒に仕事をしていましたし、昔の職場の人たちの話題は 知らない人の話なので、困ってしまいます。 もし、私の立場だったら行きますか？