トレーナーさんへの片思い、どうすべき？

30歳会社員です。個人経営のプライベートトレーニングジムに通っていてそこのトレーナーさんを好きになってしまいました。
トレーニングはもちろん真面目にやっていますが、前後でいろいろな世間話をしています。
かなり長く話し込むこともあり、少しずつ彼の内面も分かってきました。
彼は40代中盤の独身、彼女なしです。
推測するに、彼は趣味に生きていて趣味の事しか頭にないように思います。
一度彼女作らないんですか？と聞いたら、「出会いもないし、趣味があるからできないっすよ、彼女。それにこの仕事なんでいろいろと時間を決められるのが面倒なんですよね。たまに楽しく飲める女の子が居ればそれでいいやって最近思ってますよ。」と言っていました。
でもなぜか違う話題になったのになぜか帰り際にもう一度「ほんと、彼女なんてできないですよ。。」と言ってきました。
恐らく結婚には向かないダメ男です。でも本当に好きになってしまったんです。
私も自由人なので彼の趣味に生きる姿勢は全く束縛する気もないのです。まずは彼をもっと知ってみたいなぁと思ってしまいます。

私の外見を褒めてくれたり、くだらない話をしてきたりして、たまにいい雰囲気だなーと思うこともあるのですが、彼はやはりプロなのでさっと営業の顔に戻ります。
私から飲みに誘っても良いのでしょうか。
それとも彼はあくまで仕事なのでプライベートの時間に飲みに誘っては迷惑でしょうか？
個人経営なので恋愛禁止などと言うルールはないですし、プライベートなので他のお客さんにばれるという心配もないです。