バツイチ子持ち男性との恋愛

私は22歳、彼は27歳バツイチ子持ちです。 彼とは交際してまだ1ヶ月ちょっとですが、疑似交際のようなものは3ヶ月ほどしておりました。 彼から告白はされましたが私が交際することを懸念していたので、疑似交際のような形になってしまいました。ですが、言わなくなったと思って話を持ちかけたら、私のことを中途半端にし過ぎて何やってるんだろうとなり、子供が第一であること、その子供を育ててくれている前妻も大事であること、それでもいいなら付き合って欲しいと言うことで本格的に交際し始めました。 こんなこと初めてなので私も少し考えましたが、好きが故に承諾しました。もちろん今では子供が大事であることは重々承知なので、会いに行くことを伝えてもらっても素直に送り出すことができます。 ですが、最近は前妻が 「車を貸して欲しい」「◯◯まで送ってほしい」「△△を取りに行ってほしい」など、子供ではない理由でも彼に要求し、会うようになってきました。私は何も言わずに送り出すしかなく、自分の気持ちを伝えられません。というより、伝える権利がないと思っています。今度彼は2連休なので子供の面倒を見に行く、と言っていましたが泊まるかもしれないと言われショックでした。前妻とは一度は愛し合った関係、何もないとは思えません。私にはこれを嫌だと言う権利はあるのでしょうか？自分の気持ちを彼に伝えるとなると、別れ話をされると思っているのでなかなか言えません。気持ちを伝えたら彼の負担になりかねないと思い、彼のために別れた方がいいのかと考えてしまいます。ですが、私は彼と一緒にいたいし、彼のアプローチで結婚まで意識するようになりました。なんて無責任な人だ、と思います。別れるべきか、自分が冷めるまで我慢するべきか、また話をちゃんとしてお互いの気持ちを理解し合うべきか、どうなんでしょうか？ もう考えたくないぐらいに考えて頭がおかしくなりそうです。