彼と別れた方がいいのか

シングルマザーで20才の息子がいます。 1年程前に私に彼氏が出来ました。 最近になり私の息子が彼氏の会社で働く事になり彼氏も息子に色んなことを教えてくれています。すごく感謝しています。ただ息子の働く姿勢だったり覚えが悪い為彼氏にすごく迷惑をかけています。その事を彼が私に言ってきます。（私も気になるので、仕事覚えてきた？などと聞きます。）本当に迷惑かけてごめんねといつも話を聞いていました。ただ、みんなからこう言われてるよ。とか同い年の子と比べられたり、私は親なのででも…と言い返してしまうと息子をかばっている。私が悪い。と言うふうに言われてしまいます。彼の言い方が私からすると悪口にしか聞こえません。（ごめんやけど〇○だよ。など）毎回聞くのがしんどいと伝えると機嫌が悪くなります。息子がダメなのが1番悪いですが親なので頑張ってるところもある。変わって言ってるのも分かるのですがどうしても胸が苦しいです。今凄く別れようか悩んでいます。私にはすごく優しく尽くしてくれてますがどうしていいかわかりません。別れてしまったら息子は彼と働いて行くのはどう思うのか考えると振り回してしまうのではないかと思いいつも考えてしまいます。私が悪いのでしょうか？彼に息子の事を全否定されたらどういう風に接すればよいか正直疲れます。みなさんならどうしますか？