40歳前後の男性、もしくは恋人のいる方、教えてください

彼は41歳、私は25歳。
付き合い始めて半年位ですが、友人に｢都合のいい女だね｣と言われてから不安が広がっています。

彼とは同じ職場で働いているのですが(同じ部署の現場長と事務長)、
お互い自宅が遠く、勤務時間も長い為、デートは仕事後ホテルに行ってお酒を飲むというのがほとんどです。(週1ペース)
もちろん、毎回性的な関係はあります。
職場を離れたら、まず連絡は取りません。
彼は行動派な上に休日出勤が多い為、貴重な休みの日はそれぞれ自由に過ごしています。
そこはお互い様ですし、依存していない関係に不満はなかったのですが、友人の言葉から考えてみると、思い当たる点が多く…

◇周囲には完全に隠しての交際
◇好きと言われたことがない
◇デートは常にホテル（半年で旅行は2回）
◇外食に行かない（コンビニ弁当多し）
◇支払いはほぼワリカン（彼６：私４くらい）

交際の始まりも、全く恋愛対象として見ていなかった彼にすごく遠回りなアプローチをされて飲みにいくようになり、私から思いを伝えてやっと…といった感じで、はっきりとした『スキ』という言葉は聞いたことがありません。
ただ、彼は年の差をとても気にしている上、ザ☆草食動物であり、なおかつ離婚歴もあるので、怖くて自分をさらけ出すことができないのかなとポジティブに考えていました。

彼とは趣味も合わず、性格も正反対、彼は博識で私は世間知らず…。
仕事面で互いに尊敬できる、家族を大事にする、あまり社交的でない点が共通している位です。
最近自信の無さから嫉妬や、彼に認められない悔しさで、仕事中彼にきついモノ言いをしたり、イライラすることが増えてきました。仕事に私情を持ち込むのは大嫌いなので、距離を置くべきか悩んでいます。
彼は私を恋人と思っているのか…

男女問わず、ご意見頂けるとありがたいです。