次第に態度がでかくなる女性社員

私は30代の会社員、男、独身、事務職です。 相談は女性社員についてです。 私は、同僚にも、部下にも一定の人数の女性社員がいて、色々気をつけて接しているつもりなのですが、タイトルのように、相手の態度が次第にでかくなるのを感じます。全員がというわけではないですが、何人かがそうです。 例えばある女性社員。普段は大体仲良くしてもらっているつもりなのですが、私がちょっとでも粗雑な態度（他に気を取られていて適当な返答だったり）をするとその場ですごく怒ったり、数時間後に怒って指摘したりします。内容は、余りちゃんと返答しなかったとかの他愛のないことですが、はっきり言って、相手が同様の態度を私にとることは結構あり、私は我慢して指摘しないのですが、言われるばかりで不公平に感じています。 やっぱりなめられてるのでしょうか？男性の同僚や部下にも私はそれほど態度は変えないのですが、別になめられてるとか感じることはありません。女性にだけ甘くしてるつもりもないのですが、異性ということで私のほうで色々気を使ったり我慢したりはあります。笑いながら、「○○してあげてもいいですよ」とか言ってきたり、からかわれることもあります。部下で、「これ教えて欲しいんですけど」と言われて教えるときにちょっと端折り気味だと、「わかんない！もっとちゃんと教えて！」というのでびっくりして相手の顔を見たら、怒った顔の場合も笑ってる顔の場合もあります。ここは職場なのにと思うときもあるのですが、そもそも私がいけなかったかなと思って我慢することがほとんどです。 しかし時折増長っぷりが気になることがあります。私がちょっと頼りないのかもしれませんが・・・ 女性に質問なのですが、こういう場合、私は行動を改善すべきでしょうか？フレンドリーなのか、なめられているのかよくわからなくなることがあるのです。