私の言ったことはひどかったかしら？

当方３５歳の独身の女性です。
社内に性格の悪い４０代男性がいて困っています。
男性は不満がたくさんあるのか？いつも後輩や女性社員を相手に愚痴を言います。

自信がないから後輩や女性社員にしか愚痴れないのでしょうか？
口下手でミーティング時はモタモタしていてなかなか言い出さない、言葉がはっきりしない、決断力に欠けるといったところです。

過去に転職してきた人なので前職のことも言います。
前職は有名な大手企業の体力仕事の正社員だったそうですが体力持たず退職みたいだったようです。
「その仕事はきつかった・・・なかなか続く人はいない」みたいに言うのです。
そのお仕事をすればさも仕事してきたみたいに言うので、私はうざったく感じ「もうお辞めになったのだから忘れたら？、うちはうちのやり方で行くから何言ってもだめよ！」と言いました。

「その会社に行ってたら体力あるみたいなこと言うけど、そこの総合職や専門職の部門になぜ行かなかったのかしら？」と言ってしまいました。

そしたら男性は「そんなところ誰でも入れるわけないじゃん！」と言い返しましたがすごい悔しそうでした。

「ちょっと言い過ぎじゃない？」と周りから言われましたがどうでしょうか？