性格の不一致で離婚しようか真剣に悩んでいます

旦那と性格の不一致で離婚しようか悩んでいます。31歳結婚歴3年目の子供なしです。
結婚前は名古屋と大阪(旦那)で遠距離恋愛し、喧嘩もなく性格も合い結婚し、大阪に来て3年目です。
でも一緒に住んでみると新婚当初から喧嘩が多く、私は喧嘩しても話し合って解決し絆が深まれば良いと考えていましたが、旦那の性格は黙り込んで自分の意見を言えなく、私はそれにイライラしていました。今思えば良かれと思って色々旦那に言ってた事が口うるさく、大きな声を出していたんだと思います。
今まで大きな喧嘩を三回しており、離婚届まで書く事もありました。
“もう好きに気持ちはない””離婚しよう””今まで楽しかった事は一度もなかった”など喧嘩する度に言ってきますが仲直りすると”大好きだよ””またやり直そう”などと甘えて言ったり何が本当の気持ちかわかりません。
私も自分が悪い事は直すようにし、感謝や思いやりをもって接するように気をつけています。
最初私が口うるさく言って印象が強いのかもしれませんが、話しあってるだけなのに”そんな大きな声で話さないで””怒ってるようで怖い”と毎回毎回言ってきます。私はそんなつもりもないし、感情的にならないように気をつけてゆっくり相手の話しを聞きながら話してるつもりです。
義両親とも結婚当初から折り合いが悪く私達夫婦の事に口出ししたり、旦那に◯◯した方がいい。など言ってて私はいい気がしません。義両親から無神経な事を私が言われても庇ってくれず、親の肩を持ち頼りなく感じます。
今後子供が出来たり、新居を購入したり色々な出来事がある中で凄く不安になります。
実際具体的な話し合いをしようとせず、そう言う話は私からいつも切り出しているような気がします。
この先の人生の方が長いのでやっていけるのか凄く不安だし、離婚するなら早い方がいいのかなと思ったりします。私のワガママでしょうか？ご意見下さい。