バツイチ男性との交際

20代の女性です。 現在つき合っている人は30代後半でバツイチです。 彼は再婚をとても望んでいるようで、私も彼のことが大切ですし、結婚についても自然考えるのですが、好きになればなるほど、やはり彼の前の家庭が気になって仕方ありません…。 子どもさんは奥さんの連れ子さんで彼とは血はつながっていません。 しかし数年間彼がほぼ一人で面倒をみており、自分の子だと言っています。 以前話を聞いたとき、子どもさんの話になると彼は思わず涙をこぼして｢やっぱり可愛い、それは嘘をつけない｣と言っていました。 いまもアドレスには子どもさんの名前が入っています。誕生日には手紙を送っているようです。私は血がつながっていなくても自分の子同様に育ててきた彼のことを立派だとは思うし、本当に優しい人だとは思うのですが、どうしても感情が嫌だと思ってしまいます。 忘れてとは言えませんが、アドレスは変えてほしいし、もし将来結婚したら、前の子どもさんの影はやっぱり新しい家庭には持ち込んでほしくないです。 私の考えは我がままですか？彼の感情を丸々受け入れられないなら、この恋愛は続けてはいけないでしょうか？