シングルファザーの彼との付き合いに悩んでいます

初めてトピを作成します。宜しくお願い致します。

私＝２７歳既婚歴なし
彼＝３８歳、離婚１回、小３と小５の男の子を育てています（親権者）

付き合い出して１年程で、私は付き合う以前から彼が離婚していることや子供がいることは知っていましたが、子供の年齢や性別は知りませんでした。

彼は離婚で懲りたらしく、しばらく（子供が大きくなるまで？）は結婚は考えていないようです。
私は結婚願望はありますが、彼との結婚は現時点では考えられません。

彼はとても優しく大好きなのですが、私が悩んでいるのは彼の子供のことなんです。
最初は、（彼のほうに結婚するつもりがないせいもあって？）普通の恋人のように付き合いたいと、彼の実家に子供が遊びに行っている時などにデートしていました。
ただ、３カ月前ぐらいに彼の子供達に初めて会い、その後何度か会っています。
彼の子供には嫌われてはいないと思いますが、ついいい顔をしようとしてしまって、会うたびに私はすごく消耗します…
それでも時々しか会わなかったときはよかったのですが、最近ではほとんど彼の子供も一緒です。（子供を実家に預けていなくても会えるので、会う頻度も増しています。）
正直すごく疲れてしまっていて、先日のデート（確認しなかった私も悪いのですが、子供が一緒なのは知りませんでした。）の後、彼と彼の子供と別れて電車に乗っているときは、疲れのせいなのか涙が溢れてきました。

私が子供が得意ではない（慣れていない）ことは彼も知っています。
私がすごい頑張って子供と付き合っていることも知っています。

彼はなんでこんなことするんでしょうか？

最初は彼の子供にも慣れていけるようにがんばろうと思っていましたが、我慢の限界がきてしまったのかとてもそうは思えません。

私の気持ちを彼にどう伝えればいいでしょうか…