上司からの好意が気持ち悪い

転職しやっと1ヶ月経ったくらいなのですが初日から上司（社長50代）がプライベートな話をしてきて仕事上その上司と2人っきりで作業を行う為無碍にできず…

ある日「お昼行かない？」と誘われましたが午前中に仕事が終わる為プライベートの時間にご飯付き合うのは嫌だと思い断りました。

その数日後夜8時ごろにLINEで「明日の昼は？」と。二回も断って気まずくなるよりかはと思い行くことに。

その当日の仕事中さりげなく「今日俺誕生日でさ！」と言われ誕生日にランチ誘うか？けど誕生日なんだから気分を害させてはいけないという想いと社長なので「良い社長です」的な社交辞令を言いました。がそれを私が社長に好意を寄せていると勘違いしたみたいで、そのまま「近くに事務所があって筋トレグッズあるからおいで」と言われました。元々お互い筋トレが趣味でそこから話が弾んだというのもあり、（実際は話合わせていた）そこで断るのも、少し見て帰ろうと思いお邪魔して筋トレ器具を見ていると「はい！やってごらんなさい」と、やってる時に「ここに力入れて…」などと背中の肩甲骨から脇腹と腰付近を何度もペタペタと触られました。気持ち悪いから早く帰ろうと思いなんとか帰りました。

その夜LINEで「今日は本当に幸せだった。俺ら独身どうしだったら始まってるとこだよ」と。社長は既婚子持ち、私は独身
まず独身同士でもお前とは始まらねーし、気持ち悪いと思い「ははは」と返しました。

そこで察してくれたのかその後に来たメッセージが2件削除されて（私はそのメッセージは読めずじまい）
そして「前に言ってた動画送るね、なんか思い出しちゃって、夜にごめんね」とメッセージが来てましたが「失礼致します」と返しました。

それから私は一切社長に笑顔どころか顔すら見れないのですが大人の対応というものがあるのならどうしたら良いでしょうか？

よろしくお願い致します。