自分の過去が恥ずかしい

トピを開いて下さり有難うございます。
私は20代後半♀です。

タイトルの件ですが、私には父の借金の肩代わりをさせられた過去があります。
父から「お前の学校の費用の為に借金した。だからこれはお前が返せ」と言われ、意地っ張りな私は“こんな父に貸しを作るのは癪だ”と返済を承諾…今まで少しずつですが返済をして来ました。
当時、仕送りなどで私の生活を支えてくれていた母（別居）には心配をかける訳にはいかず、この事は誰にも内緒でした。

しかしこの度、約2年付き合っている彼から結婚の話を頂き、借金だけは綺麗にしてからでないと彼に申し訳ないと思い、任意整理をしました。
幸い、半分程が減額となった為、思い切って一括で完済。

問題は解決したはずなのに、今後の事を思ったら不安が募り、すっかり鬱状態です…。
マイホームを持つにもローンが…とか、引っ越すにも物件限られてくるかな…とか、彼に迷惑をかけたくないが為にした事が、逆に迷惑をかける形になってしまったのではないかと思ってしまいます。

最近私の様子がおかしいので彼も心配して「どうしたの？何かあるなら言って？」と聞いてくれるのですが、上記のような話をしたら正直引くだろうし、もし彼に嫌われたら…と思うと怖くて打ち明けられずにいます。
「今度ちゃんと話す」と言いましたが、不安で仕方ありません。

私が借金を被った後に両親は離婚しましたが、他人になってからもこんなにもあの父に苦しめられるのかと思うと、憎くて仕方ありません。

忙しい彼とは次いつ会えるか分かりませんが、今度会った時には全て話そうと思っています。
そこで皆様のご意見を伺いたいのですが、もし、結婚を考えている相手から、このような話を聞いたらどのように感じますか?
似たようなご経験された方の話なども伺えたら嬉しいです。
宜しくお願い致します。