彼氏の職場の人・・・

初めまして。私（26）には現在結婚を考えている彼（年上）がいます。職場恋愛です。 私はその職場の人間関係が辛く、一年で辞め、現在はその近くの職場に就職しました。（学校勤務です）前の学校では、根も葉もない噂や悪口（私だけではありませんが…）を言われ、正直誰を信じればいいかもわからないまま、辞めました。現在の学校では楽しく過ごしていますが、前の学校が近いため、先生同士の交流はもちろんあり、私の話にもなるようです。そして前の学校の先生が、彼に現在の学校での私の浮気しているなどの噂を言っていたりするそうです。もちろんありえません。そもそも男性の先生と関わることもありません。 そんなこともあり、私は前の学校の人たちを信用できてませんし、正直二度と関わりたくはありません。また、いい状態で辞めたわけではない（かなり揉めました）ので気まずいです。 でも、彼はその職場で可愛がられているので、何かと私を飲み会や集まりに誘います。ずっと断っていましたが、先日彼がよくしてもらっている上司から三人でご飯に行こうと彼伝えで誘われました。その上司とは面識はありますが、勤務していた時に一度も話したことも、飲み会の席で同じになったこともない人です。 また、現在の職場で私が浮気しているという不確かな噂を彼に流していた人です。そんな人と食事する必要性を感じないので行きたくないのですが、私が子供でしょうか。 彼は私がその学校の先生ともめたことも知っています。それで別れかけたのも事実です。また、別れるかどうかの話合いのとき、彼は私に、その人たちとうまく付き合っていける？と聞きました。 私は、うん、と言いましたが、あえて食事などに行くつもりはありませんでした。（偶然道などで会えば挨拶するなどでとどめておくつもりでした） それはやめる時にたとえ揉めていなかったとしても、です。 こういう考えはだめでしょうか。