職場の上司への失言？

職場で上司(新社長)に不快な思いをさせてしまったのではないかと気にしています。 うちの会社は正直かなりゆるゆるの会社です、上司と部下の垣根がほとんどない会社です。 会社にいるみたいで、学生のように冗談を言ってはいじりあって笑いを取ってコミュニケーション？を取ってるような所があり、ここは学校か！？と思うこともあります。 今社長になってる人は元々は平社員から社長になった人、そのため周りの同期、年の近いおばさん達とは友達のようにいじりあっています(例えばハゲと言っては私にまで同意を求めて来るところがあるので反応に困ってしまうこともあります) 私も最初は『○○ちゃん社長剥げてるよね？』と言われても『そんなことないですよ』とフォローしてたんですが勤めて５年近く経つので最近は面倒で、たまに賛同して弄ってしまうこともありました(何年経ってもフォローしておけば良かったんですが…) フォローすると社長自身が『言って良いんだよ～』と毎回言うので冗談言える=仲良くなった、と言う事なのかな？と思い少し甘えていた所もあると思います(反省) そんな社長ですが、理由を付けては早退したり、仕事中に私用で外出することが多々ありました。この前も午前中に、私用で外出(私物を買ってきてみんなの前でみせてました…)元々ゆるゆるの会社なので外出事態はもう気にするだけ無駄だと思い気にしないようにしてます、午後からは真面目？に仕事してたみたいで仕事終わりに工場に降りてきて『真面目に、仕事したから疲れちゃった』と言ったので冗談で『でも午前中は居なかったじゃないですか(笑顔)』と言うと少し不機嫌そうに『一時間位いいじゃん(小怒)』位の反応で本当の事だし、なんで？と思ってしまいました。 そもそも真面目にやるのは当たり前だし、みんな真面目に仕事してるんだけど… 私はどう反応するのが正しかったのでしょうか、正直会話するのが怖いです。