バツイチ子持ち、別れるか努力するか

私はアラサー、バツイチ子持ち、三歳になる子供がいます。 お付き合いしている一回り上の彼氏との今後の関係について悩んでいます。 彼氏とは一年少しの付き合いで子供とも会っています。 子供も今は懐いていて一緒に公園にいったり家に遊びにきたりしています。 彼は私とお付き合いする前に会社を辞めて独立し、今は1人で頑張って仕事をしています。 「あと一年位付き合ったら結婚とか考える」と付き合いが一年過ぎた位に言われて今に至り、私も始めはこのまま彼を信じてついて行こうと 心に決めていましたが、最近になって今後のことを悩むようになりました。 なぜかというと、最近彼といても会話も弾まず気を使ってしまって私が疲れてきました。 彼は仕事も1人でこなして、独立してまもないしそれなりの不安も抱えているだろうからと始めは気にしていませんでした。 子供を交えて遊べば子供と一緒になって楽しく遊べるし三人では楽しい時間を過ごせます。 ただ二人になると思う様に自分をだせなくなってきました。 彼は口調がハキハキしていて少し強く聞こえます。 態度もそっけなかったりします。（これは本人は自覚がないと思います） 怒っていないのに「あれ？なんか嫌なことがあったのかな？」とか「なんか話しかけにくいな今」とか私が思ってしまうことが度々あったのですが、せっかく2人でゆっくり過ごせるのに嫌なムードになるのも喧嘩になるのも嫌だったから今まで言わずにいました。 だから疲れてしまうのは自分でも自覚があります。 私が離婚した理由は、出産後に相手がモラハラ夫に変わってしまい私の精神がもたず離婚しました。 今お付き合いしている彼と同じ年齢です。同じ過ちはしたくないので不安でいっぱいになってしまいました。 こんな事を思う彼とは相性がよくないのでしょうか？ 別れるか悩んでしまいます。 アドバイスお願いします。