主人の事なんですが・・・・

家の主人は、自営で帰宅時間は決まってなく１２時頃帰ってきたり２時頃だったり色々です。私は専業主婦です。お昼ご飯なんですが主人は仕事から帰ったら食べますが、私はお昼のしたくをするのはいやなんです。子供は社会人で、やっと手がかからなくなって昼間は自由に出かけたり好きなことをして過ごしたいのですが、主人のお昼があるとのびのび出来ません。お弁当を持っていくか外食にしてほしいんですが、そう言うとすぐ主婦なんだから食事の用意をしてあたりまえみたいな事を言われます。私の考え方は間違っているんでしょうか？