バツイチの夫が前妻の家へ行く

夫は再婚です。現在、前妻と子供25歳が一緒に住んでいます。
子供と食事に行く時などはその家へ車で迎えに行っています。結婚前の約束では家には行かない事になっていましたが、ある時は1元妻は部屋で寝ていたから家に上がった。2外出中だから上がった。3玄関までしが入っていない。と言って家に入っていた事もありました。
「約束が根本的に違う」と言うと現在は家の前までだから良いと本人は言っています。「お前が家に行くなと言うから家の中には入ってない」と言います。
「私から言われなくても自分で行ったらダメとは思わないの？」と聞くと「思わない」と言います。
あきらめるしかないのでしょうか・・・・

私は子供に会う事も私たちの家に連れてくる事も良いと言っています。子供が大学卒業するまで前妻達が住む家のローンも共働きして払ってきました。夫の希望通りやる事はやっているつもりです。
前妻の家へ行かないこんな当たり前の事を聞き入れられない夫が理解できません。ちなみに私たちの間には2歳の子供がいます。こどもの事を考えるとけじめは必要と思いますが夫は元々けじめをつけれないタイプです。