恋愛について

社会人3年目の24歳の男です。
私自身の悩みをぶちまけているだけなので、不快に思う方は閲覧を遠慮してください。

私の悩みは自分の気持ちがまとまらないことです。
私はこの年まで一度も彼女というものができたことがありません。
何度か告白されたこともありましたが、自分が好きでないと相手に失礼なので断ってきました。
また、昔から付き合ったら一生その人を愛したいという考えがあったからかも知れません。(もちろん相手に強要しませんが)
そう思いながら社会人となり、年齢も24歳になりました。
同期、同級生の中には結婚をしている者もおり、焦っているというのが正直なところです。

しかし、この歳になって非常に現実主義となってまいりました。そして、それを私は間違っているとは思いません。私自身の考えとしては、社会人にもなって付き合った彼女を楽しませる、または養う甲斐性がないのに交際なんてできないと思っております。
ただ、現在の孤独感が徐々に辛くなってきました。
その為、コンパ等にも参加したりしますが、上記で挙げたような甲斐性もないので踏み込むことができません。その場は楽しいが繋がらないといった感じです。また、自分の孤独感を紛らわす為だけであれば、きっと続かないだろうと思うからです。

こんな私に対して色々な意見をいただきますが、つまるところ自分を一番大事に思っていることが原因かもしれません。
出会いを求めてコンパ等に参加するのも正直女々しく感じて、自分で自分が嫌になってきます。

何か支離滅裂な文章になってしましましたが、私の考え方は間違っているのでしょうか？
素直に好きになれる女性と出会えれば良いのですが…。