これってセクハラでしょうか？

入社1ヶ月目に、会社の上司に飲みに誘われました。
その上司は、会社の仕事以外の仕事もしているらしく、その仕事を一緒にやろうと誘われたのですが、私の家には仕事ができる環境は整っていないし、技術もないのであまり乗り気ではありませんでした。

なのでやんわりそのうち環境が整ったらと言って断っていたのですが、上司はかなり乗り気で、打ち合わせをしたいから二人で飲みに行こうと誘ってきました。

打ち合わせなら、他の職員がいないときも結構あるのでその時にすれば良いと思うし、仕事の詳しい話を聞いても、「ちょっとね」と言って教えてくれません。

その仕事は私には出来ないし、上司は既婚者で子供もいるからさすがに二人で飲みに行くのは良くないだろうと思って、他の人も誘ってはどうかと提案したのですが、上司は「○○（男性社員の名前）はアレだから・・・」などと言って、他の人を誘うのを拒否。

その日は都合が悪いと言っても、先々の予定を聞いてくるので、私は飲みに行くこと自体を断わりました。
上司はムキになってバカにしたように笑い出し
「結構人の目を気にするんだね」「早く彼氏作った方が良いよ」と言われたので、
「彼氏います」と答えたら「彼氏いるなら悪いから誘わないのに」と返された。

その数日後上司からこんなメールが送られてきました。
『お疲れ～この前の飯食いに行く話なんだけど、おれもちょっと適当に話きいてたから悪いんだけど、○ちゃん勘違いしてないかな～と思ったのでメールしてみました！もちろん○ちゃんもそうだと思うけどおれもぜんぜん○ちゃんに対してその気があるわけではないので！
仕事の件は打ち合わせできなきゃどうしようもないし、○ちゃんも忙しそうだから他あたって見るわ～』

上司は本当に仕事の話がしたかっただけかもしれないけど、こちらをバカにした態度がとても不愉快です。