友達と旅行に行くという夫

結婚して1年弱、妊活中、夫が昔からの友達から旅行に誘われました。 半年くらい前、私が休日出勤、夫が休みの日にその人と当日思い立って日帰り旅行に行きました。その地は2人で初めて1泊旅行で訪れた温泉地で天気もあまり良くなかったからまた行こうねと話していた所だったので仕事中に○○に行くねと言われてとても悲しい気持ちになりました。帰ってきてから2人の思い出の地だし私とも旅行に行かないのに酷い、悲しかったと言い、私が嫌だと思っていることは理解してくれました。 今度は1泊の温泉旅行です。また同じような気持ちになりたくなく、また私とすら結婚後1泊の旅行に行ってないのに嫌だと思い、聞かれた時に行かないで欲しいと言いました。 誘われた旅行は断ったみたいです。 後になって悪いことしたのかなと気になってきました。 ・私は自分から旅行行こうと誘わない ・私とも夫は趣味も好きな物も全然違うのでお友達と行った方が楽しいのかも。 ・私は年齢のこともあり、現在は妊活に全てを捧げていて無趣味のつまらない女です ご意見聞かせてくださると嬉しいです、よろしくお願いします