進展のない恋愛、あきらめるべきですか？

職場に片思いの人がいますが、好きになってもう4ヶ月程になります。
職場ではよく話し、お互いに冗談を言ったりからかったりするので、仲は良いです。
当然向こうにも相手はいません。

番号は交換していますが、まだプライベートな付き合いはありません。
以前、一度だけ仕事帰りに食事に誘いましたが、その日は用事があると言われ断られました。

何か二人きりになるのを避けられているような気がするのです。
ほかにも、以前、帰る時間がちょうど同じタイミングだったので一緒に帰ろうと思って彼女を待っていたら、かばんを机において雑用を始めました。

それでも、仕事の話にしてもプライベートの話にしても彼女から話しかけてくることが多いです。
絶対に嫌われてはいません。嫌いだったら仕事で最低限必要な事でしか話してこないと思うので。
会社では仲良くするけど、プライベートまでは関わらないっていった感じでしょうか？

その人はイケメン好きで、私の外見は普通（友人からの評価）ですが、身長は高く、体格はスポーツマン体型です。かっこわるくはないと言っていました。
性格や仕事の能力は上司や同僚からは良いと言われています。

気になるのはその人が私の容姿を生理的に受け入れられないのかもしれないという事です。

誰だってどんなに性格がよくてスキルが高くても外見が好みでなければ
付き合いたくないと思いますよね？私もその一人だと自覚しております。

どんなにその人に好かれようと思って、尽くそうとしても
相手の好みでなければ、その人との恋は叶わないでしょうか？

告白して振られるとお互い嫌な思いをして、職場にいづらくなるし、
それに毎日その人のことを想い続けるたびに辛い思いをしたくないので、このまま片思いを封印してきっぱりあきらめるべきでしょうか？