女性との付き合い方で悩んでいます。

初めて書き込みさせていただきます。33歳の独身です。自分の性格で悩んでいることがあります。それは女性関係なんですが、自分で言うのも少しおかしいですが、外見的には良く評価され、性格的にも男女共に気さくに話ができます。そのため、女性にモテる事も多く２０代中盤頃までやっては連絡を取らなくなって次の女性を探すという具合にたくさん遊んでいました。
もちろん、気持ちいい思いもたくさんしました。しかし、「やり捨て」ぎみに強引に進んでいましたが年を重ね、その後の彼女らの心の痛みを少しだけわかるようになり、逆に女性が怖くなって手を出せなくなりました。今では私に好意を寄せてくれる女性と話をして、相手を知り、相談にのったりしてるうち、私を好いてくれる時があります。そのうち、その女性が私が何も行動もしなくて「どうして気持ちに応えてくれないの？」とか「誠意はないの？」とか言われる事があります。相手の心のキズの事を考えるとズバッと「嫌い」とも言えず、自分の気持ちを考えると「好き」とも言えない。
最低な言い方をすると勝手に好きになって「気持ちに応えてくれない」「誠意がない」とは正直、意味がわかりません。私は「人」として付き合いたいと思っていますが、女性は「男」としてみる事があるので、相手にキズつけない交わし方が恥ずかしながらわかりません。かと、言って好きな人もいない。好きじゃないとも言えない。なんか、文書ヘタですね。。。すいません。
男性とも女性とも人として付き合いたいんです。なんかうまく伝えられないんですが、女性に「男」ではなく「人」として見てほしいんです。
その方法がわかりません。女性にだけ優しくしているつもりはないです。男女とも優しさを持ち、冷たくも言い放ちます。女性に対してどういう感じに自分の態度やしぐさを直せばいいのかわかりません。ヒントや経験がありましたら教えてもらえませんか？