離婚歴のある彼氏との将来。不安だらけ

彼氏と付き合って3年が経ちます。
彼氏42歳、私22歳です。
彼には離婚歴があり、20歳の時に一度、
奥さんとの間に年子2人の男の子、
二回目は33歳の時で、現在小学5年生の男の子が居ます。

一度目の離婚は、奥さんの浮気、
二回目は奥さんがお金目的だったと聞かされています。

子供は全員奥さんが引きとっています。

分かっていて付き合ってるんだから、
離婚歴について文句は言いたくありません。
正直、付き合う時は離婚したからなに？と無知で深く考える事をしなかったのです。

今、付き合っていて
あー、2回も離婚する理由分かる気がします。

彼氏が実家住まい、私は1人暮らしをしていて、
会う時は片道18キロを会いに行っています。
以前は、迎えに行って私の家にも呼んでいたのですが、
事情があり、姉と一緒に住む事になったので、
彼氏は私のアパートに来る事が出来なくなりました。
駐車スペースもないので、会うのは彼氏の実家になりました。
前々から、会いたいと言われて会いに行くのは私で、
姉が一緒に住む事になった原因は私にあるので、
大丈夫！会いに行くよ、と言っていたのですが、
わがままですけど、
たまには迎えに来て欲しいと思う様になりました。
自分で言った事なので
言い出しづらかったのですが、不満として伝えたところ、
彼氏は、私の家まで迎えに来て送って行くという作業をしたくない様で、
しょうがない(自分で会いに来るって言ったんでしょ？)としか言いません。
今まで私の日曜休みに合わせて
休みをとってくれていたのですが、不満を伝えて以来日曜が出勤になり始めました。
この意味は聞いてません。