モヤモヤします

信じていいのでしょうか？
モヤモヤしていることが2つあります。

職場恋愛で4歳年下の彼と付き合っています。お互い30代前半で付き合って半年経ちます。
私は初彼で、彼もそれは知っています。
職場で一緒になることもあるので付き合っていることは職場の人は知りません。

彼は土曜半日、日曜休みで残業は当たり前のシフトでかなり忙しい日々を送っています。
私はシフトでバラバラな勤務をしています。
彼は唯一休みの日曜も勉強したりしているようです。
唯一休みの日はゆっくりしてほしいなと思うので休みの日に会いたいと言ったことはありません。
向こうから会いたいと言われて会ったことはありますが。。
なので、会えるのは土曜の午後しかないんです。
ですが、なかなか予定が合わず1ヵ月、2ヵ月プライベートで会えないことが続いています。
私としてはすごく寂しいし構ってほしいのですが、そんなに会えなくてもなんともないものですか？
会ってもイチャイチャするだけです。。
職場で会えたらそれで充分なんですかね？

それから、話の流れでたまたま職場の年下の同僚(女子)から彼はヤバいと言われました。
新卒の子に一緒にお風呂に入りたいと話していたり、下ネタを話していたり。
中途採用の子の連絡先を知りたくて積極的に話しかけているなど。
その同僚も入った当初彼からかなり食事に誘われていたそうですが、既読スルーをしていたら来なくなったと。
彼の後輩(女子)から、気を付けて！と言われていたそうです。

同じ職場にいたらそういった話も聞くことはあるのかもしれませんがかなりショックでした。私はその中の一人で引っ掛かったのかなと。

確かに彼はすごく努力をしている人で仕事もできます。上司からの信頼もあり、コミュニケーション能力も高くいろんな人に可愛がられるタイプです。

私が不安になりすぎているだけでしょうか？？