心を整理したいんです

バツ一40代男性です。7年前に知り合った彼女（年上、既婚者、子供2人持）と付き合うことになりました。
日常会話がなく夫婦関係も5年以上はないという彼女の言葉に、遅かれ早かれ自分が原因ではなく離婚するならばとの甘い考えで彼女との結婚を視野に付き合いました。
7年間色々なごたごたがあった末、去年の暮れ協議離婚して同棲したのですが、離婚前に、夫婦の縁は切れても親子の縁が切れるわけではないからちゃんと説明した上で来てほしい。
親御さんにもちゃんと説明した上で反対されても自分の判断でくるかどうか決めてほしい。と合意した上で来てもらったはずなのですが
同棲し始めても　もってきた荷物の荷解きをしない、年末・新年になっても子供さんに連絡を取らない、親御さんにも連絡を取らずどこに住んでいるかも伝えないなど
どうみてもうまく行くはずのない行動が目立ったので何度も言い合いになったりしました。
結果、彼女の親戚の方や親御さんが何度も押しかけてくる。上がって貰おうとしても彼女に拒まれ、言葉を交わすこともなく帰られたり、言われても一方的に騙して連れ込んだと責められる一方。
今月の初め、社会人で一人暮らしの娘が心配だからって行ったきり戻りません。その週の土曜日に、たまたま彼女の親戚・親御さんが来られたものであがって貰おうとして玄関を開けた途端、色々言われたものでカッとなって怒鳴ったりして帰らせてしまいました。それを伝えた上で“もう残されている選択肢は結婚しかない”と、どうするか迫ったら“もうもどれない”と言われました。
“何度も喧嘩しているうちに気持ちがさめてしまった”と言われたのですが、皆さんどうおもいます？今後どうすべきだと思いますか？
人妻であり、母親、娘でもある彼女を好きになってしまった自分としてあまりこういうこと聞ける資格はないとは思いますが、どうかご意見をお願いします。