彼との付き合い方

23歳女です。3ヶ月ほど前に約4年ぶりに彼氏が出来ました。3つ歳上の方です。

私の発言が彼を傷付けているようで、彼との付き合い方に悩んでます。
例をあげると、元々会う予定がなかった日に彼に会いたくなってしまい、数日前にその日の夜に用事がなければ会いたいと連絡をしました。(予定が入っていたらそちらを優先して構わない旨も伝えました。)
彼から返ってきたのは、「もう予定が入ってしまっているがどうして数日前に言うのか、自分は会いたい気分の時に会えればいい存在なのか。自分のことをなめているのか。」という返信でした。

そもそも、私たちは付き合う前に身体の関係を持ってしまったのですが、彼からの告白で付き合うことになりました。
告白をされた時に私は身体の関係を先に持ってしまっていた為、遊ばれているのかと思っていたことを伝えたところ、
彼なりに真剣であることを伝えるために、予定を立てる際はなるべく私を優先し、してほしいことは言ってほしいと言っていました。
上記の返信の彼の気持ちは、
・私のことを優先したかったのにできないこと
・友達ではないのだから気分で会いたいなどと言うのは都合が良すぎる
・自分は真剣に向き合っているのに軽く見られ過ぎていてショックだった
確かに、自分に真剣に向き合っていてくれる相手に対して失礼だったのかなと反省しております。
ですが、恋人だからこそ会いたいと思った時に気軽に連絡できるのではないかな、とも思います。
今回の事だけでなく、私の無神経な発言で彼をがっかりさせてしまっていることが他にも数回あります。その度に話し合って解決はしています。
ですが、もしまた自分が失言をしてしまったらと思うと、彼に思ったことを素直に言いづらくなってしまいました。

彼とはこれから先も長く付き合っていきたいと思っています。
うまく付き合っていくアドバイスを頂けたらと思います。