キレ所が分からない彼に別れ話。

私は36歳シングルマザーで4歳の娘が居ます。彼は40歳です。
友人の紹介で知り合い､何度か食事をして半年前に付き合いました。
お付き合いするにあたって､私は
『基本子供優先になります。○○さんと約束してても子供が体調悪かったり､ぐずったりしたら約束を断る時もあると思いますが大丈夫ですか？』と伝え『子供優先になるのは当たり前でしょ。俺は大丈夫』と言ってくれたので。お付き合いしました。

最初は優しく温厚で娘も可愛いがってくれとても平和だったのですが､彼がとてもマイペースな方で...このままお付き合いを続けるか迷ってます。
具体的に言うと､会っていて夕食を食べに行こうとなり子供がお腹空いたとグズってても､のんびり用意したり自分の趣味の話を始めたり...

娘をお風呂入れたり夕飯準備でバタバタしてる時に電話きて､『ちょっと今忙しいな！』って伝えても電話切って貰えなかったり

お昼寝させないとだから早く帰らないと！と言っても『ちょっとここ寄ってていい？』
など...
逆に私がせっかちな性格な事もありイライラしちゃう事が多々あります。

それだけでなく､『会うの今日ちょっと無理そうかも...』と伝えると不機嫌になったり､娘と2人でお祭り行った時に､彼からの電話気付かなかったら『携帯持ってる意味ねぇな。』と言われたので､ちょっと怖い人だなとも思いました。

娘の事はとても可愛がってくれてるし､金銭面にも余裕がある方なので付き合い始めの頃は結婚を考えたりもしたのですが､性格的に先の事を考えると一緒に居るのは難しいなと思うようになりました。
私も余裕が無く､子供ばかり優先していたのは悪いと思います...

別れ話をする際ちゃんと理由を話した方が良いですか？
ただキレ所が分からない人なので...出来れば相手を怒らせない様に話をしたいので､アドバイスいただければと思います。