どうすればいいですか

高校2年生から付き合い始めて2年と7か月になります。 お互い社会人になり、職種は全く違うものの今まで大して喧嘩もせずに過ごしてきました。 (私が喧嘩になりそうな時に引いていたのが原因です) そのせいか社会人になってお互いの休みが合わなくなってから少しずつすれ違うようになり、また彼の好みがはっきりしてくるようになりました。 例えば 私は前髪を分けると老けて見えるのでぱっつん前髪が好きなのに対し、彼は前髪を分けているのが好きです(高校時代に言っていました) また私はゆるめの服装が好きなのに対し彼はジャケットや革靴などきっちりした服装を好みます。 そのことから私は彼は大人っぽい服装や髪型が好きなのだと考えました。 長々と話しましたが本題はここからになります。(すいません) 彼はよく私が自分から意見を発しないことを気にしてくれて2人で出かけるときなどは「どこに行きたい？(何が食べたい？)」と毎回聞いてくれます。 それは素直に嬉しいし、私も彼が何をしたいのかを聞いてから決めるようにしています。 しかし社会人になってから車という交通手段ができたので少し遠出(といっても県内)をしたいと思い、ここに行きたいと言ったりしたのですが「遠くない？」と言われ挙句の果てに何が楽しいのか聞かれてしまいました。 まぁ免許を取ってから1年も経っていないし彼の車なので私は運転できないのでしょうがないかなと思い、別の日に会う時に市内のカフェに行きたいと言いました。 しかしそれも「時間かかるよ？」と言われさすがに頭に？が浮かんだくらいです。 そのことが多々あってからあまりここに行きたいという気も失せ、言わなくなると「行きたいところないの？」と聞かれるため正直いらっとするのですが何か解決策やアドバイスしてくださると助かります。 他にも書きたいことは山ほどあるのですが今回はこの件で投稿させていただきました。