一度破綻した結婚話、もう一度結婚できますか？

去年の夏、彼の愛情を感じれず私から別れ話を切り出すと彼から突然のプロポーズを受けました。
その時は嬉しくて「はい」と答えましたが話が進むにつれて、本当にこの人でいいのだろうか…と悩むようになり、
彼のお義母さんにも挨拶に行った後だったのですが、やっぱり結婚はできませんとお断りしました。
本当に私のわがままでしかないとは分かっていたのですが、どうしても踏み出せませんでした。
しかし、その後も彼に対する気持ちは変わらずにずっと好きで、彼もそんな私を見捨てずに大切にしてくれていました。
今もお付き合いは続いていますが、やはり一度結婚を破綻にしてしまったために彼の親には会いに行きづらく、付き合ってるのも内緒にしている状態です。

一度結婚を断ったにも関わらず私を思い続けてくれた彼に、やはり私にはこの人しかいない、と改めて結婚も考えられるようになってきたのですが、彼の御家族の事を思うと、合わせる顔がなくて…。
彼は、そんな事気にしなくていいと言ってくれていますが、私が彼の親だったら息子を本当に大切にしてくれるか、とか不信感を抱くんじゃないかと思うんです…
もちろん私は彼の事は誰よりも大切に思い支え続けていきたいと思っています。

結婚したら一生付き合っていく家族になる訳で、うまくやっていけるのだろうか、と本当に悩んでいます。
本当にわがままな私が自分で蒔いた種で、周りの方を巻き込んだ責任は重く感じていますが、彼ともう一度やり直せたら、と思っています。
何かアドバイス等あればよろしくお願いします。