彼の女癖と金銭感覚

付き合って４ヶ月の彼がいます。２０年来の友人で、付き合う以前はたまに会う程度でした。
同棲する予定なのですが、下記のような色々なことがわかってきて、今更ながら自分の判断は間違っていたと後悔しています。
受け止めるしかないと覚悟していますが、気持ちの整理の付かない部分もあり、アドバイスをいただきたくお願いいたします。

彼と恋人同士になってみてからどうも精神的に不安定なことが多いので聞いてみると、前の彼女を自分の浮気が原因で精神的に病ませてしまい、結局別れ、彼自身も病院で安定剤を処方してもらっていることがわかりました。

その話の続きで、彼が以前風俗に通っていたことや、女性に対してかなり軽い行動（ナンパ、持ち帰り）をとっていたことがわかりました。
１度浮気や風俗を体験した人はまたするといいますが、私と付き合っている間に起きたことではないことは気にするべきではないのでしょうか？

さらに最近、彼が同棲のために母親にお金を借りていたことがわかりました。社会人になって１０年目にもかかわらず、５０万程（マンションを借りたり、家具を揃えるお金）が出せなかったのです。
彼は前の彼女とも同棲していたのですが、そのときは無職の彼女を養ってあげていて、プレゼントも色々とあげていたそうです。
「お金を貯めたいから、デートがワリカンになるけどごめん」と言われると、なんだか彼の貯金のために利用されてるみたいで面白くありません。
自分が選んだ道だとあきらめるしかないのでしょうか。

私自信、彼と付き合うために前の彼と別れているので、彼の浮気心を責められないのですが、前の彼は精神的にも経済的にも安定していて申し分ない人だっただけに、自分のしたことを棚に上げて後悔の気持ちでいっぱいです。
お叱りの言葉でも結構ですので、客観的に見てどのように映るかご意見お願いいたします。