この恋について客観的なご意見をお願いします。

付き合って、四ヶ月になる彼がいます。
共に34歳、彼はバツイチ子無し。
前妻が離婚を希望し、彼はまだ愛していたが、渋々承諾。まだかなり引きずっています。
私が告白し、ＯＫをもらい、その時彼は「人を好きになるのに時間がかかる。気長に待って欲しい」と言い、私は「ゆっくり進んでいこうね」と言いました。
私の事を好きになる可能性が少しでも彼の中に見えていると思っていました。
２ヶ月位は、連絡も彼から頻繁に来ていたのに、次第に彼からの連絡は少なくなり、今は私がメールをしたら返ってくるが相手からは必要な時しかきません。週１程度のデートの誘いも全て私からです。
「お互い合うか合わないか確認している最中だから、俺は気を使わないし、美咲も自分を見せて」と言われ、連絡が少なくなった事も強く言えませんでした。
ここ何回かのデートで「飲み会等に参加して、俺より良い人探した方が良い」、「○君と付き合えば」、「気持ちがあがらない」等言うようになりました。別れる訳では無く、他の男性もみて、その男性の方が良いと私が思うなら、別れてもいい。俺には止める権利はない。そうです。何回かは「私の幸せは私が決める。今はあなたが好きなので新しい男性を探す気はない」と言いましたが、先日またその事を言いだしたので、「だったら、そっちから終わらせて」と怒ったら、「それはできない」と言い、理由は「かわいそうだから」でした。好きじゃないのに終わりにできない？私から良いパス出しているのに。
ただ、私にも他人に対しても優しい所が沢山あって、私に何もさせない、お金や車を出す事も含め、嫌な事や汚い事も率先してやる男性で「この人って最低な男？本当に？」って客観的に見られません。彼は偏屈で天の邪鬼なので、本当は私の気持ちを試しているだけじゃ…とまた都合の良い解釈。好きな気持ちがあるので決断できません。ご意見頂けませんか？