こんなデタラメ男ってどうですか？信用してもれえますか？

私、40代、独身です。
私が生まれた頃、父が仕事もせず遊び人だったらしく（私が生まれる日も競馬に行っていたらしい）あきれた母は、母方の実家に出戻りました。
しかし、なぜか母は旧姓に戻らず、祖父と違う姓でした（祖父他界）。小さい頃は、よく意味がわからず、友人からも、「なんで、お前の苗字、おじいちゃんと違うの？」なんて聞かれても、「おれもようわからん」と応えていました。
しかし、高校の頃、色々と学校側にも家庭事情を説明しなければならず、母に聞いたところ、「しばらく別居した後、また、元に戻るかもしれないから」との理由で、離婚しないまま年月がたってしまったそうです。「それで、こん後どうするの？」「う～ん、考えなあかんな」「父はどこにいるの？」「私も、知らない」といった会話が続きました。
子供心にも「なんじゃそれ？父もいい加減な男らしいけど、母も随分いい加減だな」と思い、大学受験を控え、多感な時期でしたので、ひとり親家庭、そして貧困家庭で、ただでさえ、引け目を感じていましたが、この時、自分に対して決定的に劣等感を抱きました。それからは、「こんなデタラメな家庭で育った人間なんて、結婚しようと思っても、相手の女性やその親の方にも信用されないだろうな。だからおそらく自分は結婚なんてできないだろうな。」と感じ（友人の披露宴に出席した時も、俺にはこんな幸せを得ることはできないのかと感じ会場で号泣しそうでした。）、４０代になった今でもその劣等感は消えません。この年ですから、恋愛イコール結婚となるので恋愛すら本能的に拒否してしまいます。
自分で言うのはおこがましいですが、仕事もでき（現在独立）、見た目もそこそこで、女性に見向きもされないわけではありません。
なのに、この劣等感のため前にすすめない自分の運命が悲しいです。
女性の方、こんな家庭で育った男って結婚対象として問題ありますか？