上司の言葉に困惑してます

新卒2年目の会社員♀です。職場に色々面倒を見てくれて尊敬している上司♂がいるのですが、今日二人で外出してお昼を食べた際、ストレス発散の話題になりました。

その際、上司はあまりストレス発散法が無いというようなことを言っていたのですが、続けて「ストレス発散できなくて家族に当たっちゃうから、そよさんをいじめて発散しようかな」と言われました。私はえ～勘弁してくださいよ～とその場は流したのですが、その後この上司の発言の意図を色々考えてしまっています。

冗談で言ったんだと思うのですが、本当は私の仕事ぶりに不満があって日々上司をイラつかせてる？？とか悪い方に想像が膨らんでます…。そこそこ親しい仲だと思っていただけに、私の一方的な認識だったのかなぁと不安です。

皆さまはこの発言の意図をどう思われますか？私の考えすぎでしょうか？