よく解らない上司

職員が多人数いる職場なのですが、なぜか私にだけ悪く言えば言いたい放題、良く言えば親近感を持って接してくる上司（男性）がいて、どう対応すれば良いか困っています。

同年代だと思っているからなのか、私が話しかけられやすいタイプの人間だからなのか、
他にもそのようなタイプの女性はたくさんいるのに、なぜか私にだけ、時折つっかかるように冗談を言われます。

例えば、なんだよ、そんなことも解らないのかよ！？です。
かなり専門的な質問をされ、急に聞かれても解らず、なぜそこまで責められるのか解らず、その場にいたほかの人もすぐに空気を読んでくれて話題を変えてくれました。
普段は丁寧にしゃべる人なので、良く言えば気を許してくれているのかも知れないです。
バカにされているのかとも思いましたが、そういうわけでもないようです。
おみやげを配ったら一番丁寧にお礼を言って下さったり、体調が悪いときは心配して下さったので、性根が悪い人ではないとは思うのです。

つっかかってくるタイミングが全く読めず、私としては、自分が傷付くのも、不要なことを言って上司を苛立たせるのも嫌なので、こちらからはなるべく話しかけないのですが、
それがますます上司の感情を逆なでしまうのか、逆に上司のほうが接近してくる気がします。
私は普段おとなしいのですが、親しくなった人にはにこにこ（というよりはヘラヘラしながら）と話しかけてしまう癖があり、
それをじーっと観られていたので、それがまた上司の怒りスイッチを押してしまったのかも知れません。ちなみに休憩中のことです。
それを観ていたからか、初めは敬語だったのが急にため口になったのでびっくりしました。
上司と部下なので、上の立場の人が下の立場の人にため口を使うのは自然なことだとは思いますが。

こういう方に出会ったのは初めてなので困っています。
どうやって接したら良いのでしょうか。