こう言われたらどう思いますか？

先日、主人の学生時代の先輩（女性）とそのご主人様と私たち夫婦の4人で食事に行きました。 4人で食事をするのは3回目です。私以外の3人は一緒にライブに行ったりして仲良しです。 ちなみに4人とも40代前半です。 主人の先輩は明るくよく話す人なので、私は主人の先輩という事もあり、出しゃばらないようあまり話さず、笑顔で聞き役に徹していました。（もともと話す方ではありませんが） 会話の中で主人が、「この前夫婦喧嘩したんですよ、危うく離婚の危機でした」と冗談で言いました。すると先輩が「2人は絶対離婚しちゃダメ。だってお互いに、お互いしか他にいないと思うよー」と言い、 「みゆきさんは確かに綺麗だけど、一生一緒にいるのはちょっと…難しいかも知れないなー。あ、なんか私上から言っちゃってごめんなさい」と言われました。 私は、まだ3回しか会った事がなく、それほど私 は話をしていないのに、なぜそんな風に言われるのかととても驚きショックでした。 変わり者キャラでもないのに。 主人だって皆から好かれる人で、私じゃなくてもいくらでも相手はいると思っていました。 「さすが〇〇さん、見抜かちゃってますねー 笑」なんてふざけて返したけれど、ショックで仕方ありませんでした。 別れた後、主人にショックだったと伝えると「それだけ2人が合ってるって事だよ」と言われましたが私にはそうは思えません。そんなに自分は魅力がないのかと落ち込んでいます。 皆様はこんな風に言われたら、どう思いますか？