プロポーズの返事の仕方について

お付き合いをしてもうすぐ3年になる彼がいます。もともと結婚願望の薄い私なのですが、初めて結婚したいと思ったのが彼でした。
その気持ちは彼にも伝え何度か話もしましたが、彼は以前婚約していた彼女に一方的に振られてしまった過去があるらしくいつも「好きだけど結婚はまだ…」という様な返事ばかりでした。
その彼から先日プロポーズ予告と取れる発言があったのですが、今になって自分の気持ちに自信がなくなってきてしまいました。
もちろん彼の事は好きだし大切に思う気持ちには変わりはないのですが、彼に対して不安に思う点がいくつかあるからです。(例:気に入らない事があると怒鳴る等)
彼は過去の辛い経験からなかなか人に心を開かず、私は付き合ってからもずっと彼との間に見えない壁を感じてきました。
私としては、そんな彼に少しでも早く心を開いてもらえるようにと思い、どんなにキツイ言葉を言われて泣いても、ずっと傍にいるよ。と、態度で示してきたのですが、そのせいもあって彼は私が絶対どこにも行かないと自信をもっているようで、何でも自分の思う通りにできる思っているようです。
もちろん育った環境等でお互いの考え方や価値観が違うのは当然で、どちらが良い・悪いという事ではないと思いますが、お互い歩み寄れないのであればやっていけないと思うし、正直、私自身この先ずっと彼に合わせて我慢しながら生活していく自信はありません。
彼の発言からは数日後の私の誕生日に…と思っているようですが、そんな理由があり彼の気持ちが嬉しい半分、今はとても不安な気持ちがあります。
一生の事なので彼に気持ちを伝えたうえで歩み寄ってもらえるならと思っているのですが、彼にどのように返事をすれば良いでしょうか？
私としては｢少し考えさせて｣と伝えた上で後日話した方が良いのかな？と思うのですが…タイミング等良い案があれば、ぜひお教え下さい。