元夫と新しい彼氏

こんにちは。
私はもうすぐ三歳になる男児のシングルマザーです。
元夫とは、子供が一歳の時に調停離婚し、その後、月に何度か
子供と面会してきましたが、必ず私と元夫で喧嘩になり、
子供にとって悪影響なので、私の方から避けてきました。
その頃から、当初調停で決めた養育費10万円が、元夫のどうしても
受け取ってほしいという要望で40万円になり、その上、必ず手渡しに
したいというので、月に一度だけ、子供に会わす時に、養育費の40万を
貰っていました。
そんな中で、自分でもふざけていると思うのですが、好きな人が出来き、
その人には私がバツイチ子持ちである事、元夫から調停で決められた額以上の養育費を貰っている等の話をし、その上で3か月ほどお付き合いをしてきました。
今は子供も彼になつき、半同棲のような形で、彼が家賃を払うという事になっているのですが、当然の事ながら元夫から余計にお金を貰っていることが問題になってきまして、彼は元夫と一切の交流を持つな、お金も必要以上に貰っているのだから、この先養育費の催促もする必要もないと言います。
向こうが勝手に来てお金をポストに入れていくのは構わないけれど、顔を合わす必要も話す必要もないと言うのです。

では彼に私と結婚する気持ちがあるのかと言うと、曰く、あるにはあるが
もう少し待って欲しい等と曖昧な表現が多く、私から見ると、結婚の話題になると話を逸らされているような気もします。
その事を指摘すると、私を信じられないのかと言われてしまうのですが、
具体的に結婚云々のお話になってもいないのに、元夫との交流を一方的に
切ろと言われ、自分との結婚の問題と元夫の問題は別物だと言われても、納得がいきません。
他の人の意見が聞きたく、ここに書いてみました。
どうかご意見をお願い致します。