バツイチの恋愛について

私はバツイチ子供なしの30歳で、今は実家に住んでいます。彼氏がいて、彼は35歳でバツ２です。元奥さんの方に子供がいるらしいですが、養育費などは払っていません。私も彼氏も真面目に付き合っているんですが、私の親（母）が交際を猛反対しています。
元々母は気難しい性格なのですが、彼氏も付き合うにあたってちゃんと挨拶をしてから交際をしたいと言ってくれたのですが、聞く耳すらもちません。
母は、初めは目の前に連れて来い！！とかなり怒ってたんですが、いざ私も彼も覚悟して、じゃぁいついつに～と言ったら、今度は来るな！！というカンジで、会ってもくれません。
真面目に仕事もしてるし、いい人なんですが、母いわく、バツ２というのが猛反対の原因らしいです。
確かに、子供の事を心配してるという親の気持ちもわかりますが、私も彼氏も真剣だし、母が思う以上に慎重です。
別れなさいの一点張りで、別れようとも考えましたが、どうしても諦め切れませんでした。私には、好きなのに別れる事ができませんでした。
もう、いい年なので家を出て一人で暮らす予定も立ててますが、とにかく外出すら気にいらないカンジです。
私は悪い事をしているとは思っていませんが、私が彼と別れず今後家を出て一人暮らし、もしくは同棲したりしながら交際する事は、親不孝なのでしょうか？？別れる事が親孝行になるのでしょうか？
アドバイスよろしくお願いします。