職場の先輩のことでご相談です。

私は20代後半、Ｎさんは40代前半です。
日頃からＮさんの物の言い方が直接的で、思いやりに欠けていると感じていました。

先日も一緒に仕事をしていて、キツイ言い方をされたのでショックで下を向いていた直後タイトルの台詞を言われました。一回りも年齢が上の先輩に対して、
「はい。先ほどの物言いは大変キツく感じて気分を害しました」と言えるはずもなく、咄嗟に否定してしまいました。

キツイと感じるのは、例えばこんな場面です。
会議に行く時間ギリギリ前でも、まだ仕事をしていたＮさんを見て、私は気を遣ったつもりで「Ｎさん、後のことは私がしますね。もう会議が始まる時間ですので交代しますよ」と一言声をかけると、「私は毎回会議に間に合うように準備していますし、もう行きます！！」と語気を荒げた返事が返ってきて驚きました。
後輩に早く行けと促されたのが嫌だったのか、言い方に険があります。

天気や最近の時事ニュースの雑談をＮさんに投げかけても、「あぁ、そうなんですね」の返事のみで会話が続かなかったので、もう業務関係以外は会話をしなくなりました。

他の同僚とも口論した経緯のあるＮさんなので、職場では孤立気味です。
「言い方がキツイ」と他でも言われたことがあるそうで、私にそう感じたら指摘して欲しいと言ってきたと思います。

今度は正直に「言い方キツイと感じているので、話しかけることすら躊躇します」と言ってみようかと思いますが、周りから反対されました。
後は私が業務の説明をする時、「え？何を言ってるか解りません」とも言われるので、もう一緒に働きたくありません。

どうすれば良い方向に行くでしょうか。