同棲中の彼について

皆様はじめまして。
現在同棲している彼との将来が不安で書き込み致しました。
お知恵を授けて頂ければ幸いです。

私（35歳）彼（40歳）私の娘達（小6、小5）
私も彼も離婚歴があり彼には子供
（私の娘達と同じ年です。嫁が引き取り岐阜に住んでいます）
私達は奈良に住んでいます。

最近家を購入しようと考えていまして
不動産屋さんに物件を探してもらっている最中です。
家を買うと言い出したのは彼です。
私達は同棲して今年で４年目です。
彼の一言は本当に嬉しかったです。
一生アパート暮らしをしていかないと駄目かなと思ってたので。。。

でも、彼自身何を考えているのか解らなくなり、
これからどう付き合っていけば良いか解りません。
理由は離婚してからも自分の子供達と逢う事。
でも、これは仕方ないと始めの間は割り切っていました。
が！子供達の居る期間が長すぎるのです・・・。

この夏休みも８月１日から昨日１８日まで彼の実家に居てました。勿論その間は彼は一度も私達が住んでるアパートに顔も出しません。
春休み・GW・夏休み・冬休みなど長期の休みには必ず長期滞在します。
同棲してからは１度たりともお正月など過ごした事は無く、私の娘達も「どーせ帰ってこやんのやろ。」と呆れています。

この８月は住宅ローンの件で頭金など必要な経費が嵩張るので、彼の子供達には来るなとは言わない。せめて２泊３日位にしてもらって。いつも子供達が来たら彼は良いかっこを見せたいのか１０万くれ。など毎回言ってきます。私が「今回は、そんな金額無理！出せて３万！」と言うとキレます。
家を買うと言う重大性を解ってないのでしょう。

新しく建てた家には自分の子供達も遊びに来さすから。と意味不明な事も言います。私は絶対、そんなのは嫌！彼はやはり自分の子供達が１番なんでしょうね・・・。
理解不能なのは彼の両親と元嫁です。

彼と彼の両親が言うには離婚した原因は嫁の浮気との事です。が！彼の両親は元嫁と今も連絡を取り合いこちらに来る段取りを決めているみたいです。彼は両親に従う感じですね。それと長期ステイさせるなら、少なくとも幾らかは（お世話してくれてありがとう）で現金を包みませんかね？私は実家い子供を預ける時は渡していました。それに保険証も持たせてないようで。

何かしら事故なり病気なりしたら、どうするんだろう？と考えた事も少なくありません。彼の両親に挨拶をしに行った時は「こんな女と一緒に住むなんて信じられん！○○ちゃん→元嫁　の方がズッといいやんか！」まで言われました。初対面で、そんな事言われてショックです。