上司と距離を置きたい…

40代子持ちのパート主婦です。 職場の50代の上司（男性）と距離を置きたい。というか、極力業務上のことしか話したくないです。 経緯としては、上司が私のデスクのすぐ側で狭い職場なので、よく業務中に世間話などもしていました。 でも段々と「もし〇〇さん（私）と付き合ってたとするとして…」などの仮定話や、肩をポンと触ったりとか、「信じられないかもしれないけど、昔はモテたんだよ〜」などなど。 ん？と思うことが増えてきました。 私が変な態度を取ってしまったのかと思い、なるべく業務以外のことは話さないようにしていました。 でもしばらくすると、出勤して「おはようございます」と挨拶すると、笑いながら「（俺のこと）出勤してやがるとか思ってるんでしょ」などと言ってきます。 朝の挨拶したのに、いきなりそんな風にこちらの考えていることを決めつけられて、しかも職場の他の人も聞いているので本当に嫌でした。 自分が自意識過剰なのかもしれないですが、でも例え話でも付き合ってるとか言われるのは嫌です。 何かのタイミングで言えればいいのですが、そんなタイミングも見つけられず…。 仕事自体はやりがいもあり、他の人間関係もいいのですが、最近は仕事に行くのも憂鬱になりつつあります。 まとまりのない文で申し訳ありません。 ただ自分の中だけに溜め込んでいるのは、そろそろ限界で吐き出してしまいました。