好きになってはだめ・・？　迷い

はじめまして。28歳女性です。職場の男性・以下Ａさん25歳のことを好きになってしまいました。私はパート扱いの勤務、彼は社員で直属の上司です。女性問題で問題があると、噂好きな会社のなので聞いたことがあるのですが、さほど気にしてませんでした。連絡先を聞かれても、業務の件しか連絡は来なくて。仕事も真面目だし、優しい感じがあり好感を持ってました。2回ほど？職場の買出しで2人で業務外に会うと、頼れるところもあり、好きになってしまいました。 それを信頼のおける同僚に話したら「彼高校中退してるよ。（私は短大卒）まだＡさんは他部署の人と付き合ってるみたい、目撃した人いるよ。体だけの関係になったらどうするの？！」と言われました。他部署の人と付き合ってると効いたことはあって・・。 そんななか、1日遊びに誘われました。デート・・になるのでしょうか。楽しく過ごしてるうちにいつの間にか手をつなぐようになってました。そこでの帰りに思い切って、「他部署の人と付き合ってるのならその人を悲しませるからこうやって会うのやめよう」と言いました。「仲が良いのは認めるけど、向こうは13歳年上の女性だしバツイチで子供もいるし、そういう対象として見れない」と。 それ以上は聞き出せない感じになり聞けませんでした。 職場に行けば必然的に会うし、もし彼が彼女と付き合ってないと言いながらもそれがウソだったら・・。思い切って「好きです」と気持ちを伝えてダメだったらすっぱりあきらめた方が良いのでしょうか・・？ 噂話と彼の言動の間で悩んでます。 文章が下手ですみません、アドバイス頂ければ嬉しいです！