そろそろ実らせたい

はじめまして。４０代女性です。
私には知り合ってもう１６年ほどになる彼がいます。
叩かれるのを承知で書きますがお互い家庭があります。
しかし、うちは結婚して２０年になるものの子供はおらず、主人はもう１６年単身赴任状態です。
彼は出来ちゃった結婚して１５歳になるお嬢さんがいるものの奥様とはもうずっと家庭内別居状態。
彼はある商売をしていて私はずっとビジネスパートナーとして傍で支えてきました。
ここ数年商売が大変な状態が続いているのですが、奥様は知らん顔。
子供の教育費など、彼の経営状態などお構い無しで、お金が必要な時だけ連絡してくるといった状態です。
私はただ働き、貯金持ち出しで彼のお店を支えてきました。

私たちはお互い自由で、別にこのままただ傍にいれればいいと思ってきたのですが、最近彼に第３の女が現れた事や、彼の見せの経営状態が芳しくない事などでお互いの感情がはっきりし、やはり死ぬまで添い遂げたいと思うようになってきました。

去年彼は本格的に家を出、アパートも借りられない状態なので店で暮らしています。
私もどこかで仕事をすれば収入も出来、２人で暮らす準備も出来るのですが
そうすると彼が困ってしまいます。

私の気持ちは８割、夫と離婚して彼との結婚を望んでいますが後の２割は奥様に対する遠慮や夫への後ろめたさで躊躇しています。
夫はもう何度も浮気をしています。

読んでいただいてありがとうございました。