好きになれない苦しい・・・最低な自分

23才ＯＬです
私は今まで男性とお付き合いしたことがなく、男友達もいません。今まで好きな人も出来たことがありません。
そんな時会社の飲み会で違う課の27才の男性に携帯アドレスを聞かれました。
正直まったくタイプでないし今までの飲み会や行事ごとも一緒だったのですが
今までは全く無関心の存在の彼でした。
ですが生理的に嫌ではないし、もしかしたら仲良くなれるかもと思い、アドレスを交換しました。
そしたら後日二人で飲もうという連絡が来ました。
私も二人で話してみたかったし、もしかしたら恋愛感情を持つきっかけになるかもと思い承諾しました。
しかし、実際会ったら会話も弾まないし「あんまり楽しくないなあ」というのが正直な感想でした。
でもその時は「最初だしこんなもんか」と思いました。
そして２回目も飲みに誘われ行きました。
その時もドキドキとかしないけど「まあつまらないってほどではないし・・・」
と思ってその時に今度また休みの日に遊びに行く約束をしました。
ですがおかしいのです・・・会社でその人を見かけると「会いたくない」という感情が
芽生えてきました。「最初は意識してるから恥ずかしいだけなんだな」と勝手に自分で
「好きになるってこういうことか～」なんてバカな考えを持っていました。
でも今日彼を見て気づいてしまったのですその会いたくない感情が嫌悪の会いたくないだと。
もう３回目一緒に遊ぶことは決まっていていまさら断れません。しかも、まだ一緒に遊んだら
違った彼を見て好きになるかもという期待を持ってしまっています。
でももう好きになれる気がしないのです。好きになろうと考えれば考えるほど彼が嫌になっていきます。
彼は私に好意を持ってるみたいです。私は彼の気持ちを持て遊んだ最低な女だと思い罪悪感で毎日苦しいです。
どうしたら人を好きになれるんですか？