追い出したみたいでしょうか？

３歳と６歳の子どもがいる主婦です。

主人の趣味は鉄道旅行（乗り鉄というんでしょうか）と秘境温泉巡りで
結婚前や子どもが生まれる前にはよく二人で夜行列車や鈍行列車を
乗り継いだり、ローカルバスに乗って鄙びた温泉地に行ったりして
いました。
しかし、子どもが生まれるとなかなかそういった行き当たりばったりな
旅行というのはなかなかできません。
主人に「一人で行ってきてもいいよ」とは言うのですが、普段仕事で
帰りも遅く子どもと接する時間も短いし、どちらの実家も遠くて
誰にも頼れない状態だと大変だからしばらくは我慢するよと言って
くれてました。

しかし、今年の４月に転勤で実家のある地方に引っ越してきました。
今までは、飛行機の距離だったのが車でも行き来できるようになり
せっかくなので来月実妹と甥が泊まりに来たいと言ってきました。
そこで主人に「妹たちが来るみたいだから、よかったら旅行して
きていいよ」と言ったところ、とても喜んでくれて張り切って時刻表を
調べたり、温泉を調べたりしてます。

ところがそれを実母に伝えたら「追い出すような真似をして！」と
叱られました。
私自身はそんなつもりはなく、主人と妹は確執があるわけではないですが
主人が気遣いの人なので妹が来ると気を使うし、せっかくだから久しぶりに羽を
伸ばしてほしい程度のつもりだったのですが・・・

やはり他人様からみれば「妹が来るからどこかに行ってろ」と追い出した
ように思えるのでしょうか？
またもし男性の方がいらっしゃったら、同じ立場になった場合どう感じるかも
教えていただきたいです。
ちなみに、私から見ると主人は本心から喜んでいるようにみえるんですが・・・