彼氏と別れるか迷っています

46歳のシングルマザーです。離婚して７年、こどもは長男が大学生で県外で一人暮らし、次男は高校１年生で同居しています。 現在お付き合いして１年の彼がいます。同じ会社で同じ歳ということもあり、私が入社してからたまに飲みに行ったりすることが２年ほど続き、お付き合いするに至りました。 社内では私と彼がお付き合いしていることを誰も知りません。そのため、私の陰口のようなことをよくネタにしているようなんです。それだけなら良いのですが、わざわざ私にその話を告げてくるのです。「〇〇が、あの案件でお前が聞くことがしつこくてウザいって文句言ってたぞ」とか、「支社の〇〇さんが、お前が仕事回してくれないからやることないって騒いでるんだ。なんか回してやれよ」などと伝えてきます。悪気はないんでしょうけど、知らなければそれなりに接することが出来た人達に対して、私も身構えてしまい自分を押し殺すようになってしまいます。気持ちに折り合いをつけることに時間がかかってしまい、彼氏に対してニコニコといつも通りに接することすら苦しくなってしまいました。 でも、私の事を思ってくれているんだろうと感じますし、我慢してお付き合いを続けていくのが良いのか迷ってしまいます。社内恋愛なので、万が一お別れということになれば立場の弱い私が退職することになるので、お別れと転職がセットになってしまうのです。 今まで我慢してきたところもあったのですが、前は２週間に一度ほどの忠告が、今は１週間に１〜2回あります。あまりにも言われるので、そんなにみんな文句があるなら辞めたほうがいいのかなと思うようになってきました。 私がおかしい、彼がひどいなどどのようなご意見でも構いません。一人で悩んでいても答えが出なかったので、皆さんからのご意見をお聞かせいただきたいです。