彼のお母様に悪い印象を持たれたかも！？

私は都心で一人暮らしをしている29歳女性です。
彼とは昨年7月からお付き合いを始めました。
彼は33歳。お父様とは幼少期に死別し、他に兄弟も居ないのでこれまでお母様と2人で生活をしてきました。
と言っても都心の住宅地に立派な家もありますし、資産家なので贅沢に暮らしてきたようです。
ただ、彼のお母様が彼にべったりなんです。お母様の立場に立てば一人息子なので気持ちも分からないではないのですが、どんなに遅くても（飲み会の帰りでも）彼の帰宅を毎日待って食事を用意しているそうです。
そんな彼が私とお付き合いを始めてから実家に帰らずに私の家に泊まりに来ることがあり、一度彼がお母様に無断で私の家に泊まったことがあったんです。

翌日お母様はものすごく彼に対して怒ったそうですが、根底には私に対してもきっと悪い印象を持ったと思います。「男を家に連れ込んで非常識な娘さん」くらいの印象を持ってしまったかもと思うと心配で仕方がありません。
お会いする前にこんな雰囲気になってしまって困惑してます。信頼を取り戻すにはどうすれば良いでしょうか？
彼とはお互いに結婚を意識してお付き合いをしています。