結婚して20年になります

二十歳の時に結婚して20年、一人ですが子供にも恵まれました。 若くしての結婚、出産でしたから経済的にも苦しい時期もあり、私も働きながら子育てと家事を頑張ってきました。 今春、息子が大学進学のために家を出て、関東で一人暮らしをしながら大学に通うようになり、主人と私の二人暮らしが始まりました。 私は今も働いていますが、山登りや陶芸など趣味も多数あり、趣味仲間（もちろん女性です）とこれまで出来なかった旅行や日帰りのバスツアーなどを楽しんでおりますが、どうも主人にしたら、それが我慢できないようなのです。 旅行と言いましても、せいぜい2泊、バスツアーはもちろん日帰りです。旅行の工程も見せて出かけています。 そもそも、主人と私は趣味嗜好が違いまして、何度か2人で旅行はいたしましたが荷物持ちからホテルやキップの手配まで私が全て管理し、旅先でハプニングが起きると私に当たり散らすような人で、いつしか主人との旅行は私自身が避けるようになりました。 「なぜ2人で旅行したくないのか」と問われ、今までの私の考えを正直に答えました。 そうしたら、今まで悪かったと旅行の提案をしてきました。 しかし、私の意見も聞かず、そこは私が全く興味がない場所。 案の定、新幹線のチケット、ホテルは私任せ（お前が全部決めろと言います）なのに、有給を取ってきてきました。 私は行く気などありませんし、まして仕事を休むことなどできません。 それを伝えても主人は「有給を取れ」の一点張りです。 困り果て、友人に相談したところ「正直に伝え、あなたとはもうどこも行きたくないと伝えるのが一番いい」と言われました。 私もそう言う覚悟でいますが、正直に伝えれば烈火のごとく怒るのが目に見えています。 結婚して20年以上の方、こう言った伴侶をお持ちの方でしたらどう言いますか？ ご助言をお願いします。