日曜日の夕食の時間

はじめまして、30代半ば結婚1年目の、チョビです。
トピに目をとめていただき、ありがとうございます。

皆さんは日曜日の夕飯は何時頃食べていますか？
私はもともと夜型で、平日は働いているのでもちろん21時以降に食事。
主人も遅い時間なのでこちらは問題ありません。
日曜はどこにも出かけなければ私は20時～21時に食事でいいかなと思っています。
でも、主人は18時～19時に食べて、のんびりと夜を過ごしたいそうです。

先日、日曜に一緒に出かけて帰ってきたら20時半近く、それからご飯を作ると21時には
なると考えていたのですが、そのことで主人に「日曜は18時過ぎには食べれるのが理想」
と言われ、主人の要望で出かけていたのもあり「外出して帰ってきてご飯食べたら普通に遅くなるし、日曜でも20時くらいでも普通じゃないの？」と言ったら、口論になってしまいました。
お互いの実家の生活習慣の違いだとは思います。主人の実家は土日18時に夕食、私の実家は20時過ぎが当たり前。
子供がいるならともかく夫婦だけだし…と思ってしいまいます。
早く食べれないなら、日曜は外で食べてくると提案され、「そこまで？」と思ってしまいました。
だとしたら日曜に外出しようと言わなければいいと話すと、「朝10時くらいから出かけて夕方戻ればいい」と。私は夜型ですが、最近は主人に併せてお昼の12時過ぎから出かけたりしています。頑張っているつもりですが、朝の10時からなんて仕事もしているのでパワーがありません。
私がもっと頑張るべきでしょうか？生活習慣の違いに今更ながら悩んでいます。
共働きのご夫婦、または男性のご意見などいただけると嬉しいです。
宜しくお願いします。