元担任と付き合いたくない

夫とは、職場で知り合いました。初顔合わせの飲み会で、３歳上の彼が、偶然同じ高校で、しかも担任の先生が同じだったことが分かり、話が盛り上がり親しくなりました。

夫は、部活の顧問だったその先生と特別親しく、卒業後も付き合いが続いていましたので、結婚式の出席とスピーチをお願いすることになり、二人で家にご挨拶に行きました。
しかし、結婚式でのスピーチは、完全に夫のことばかりで、私のことには一言も触れてもらえませんでした。高校のときの私は目立たない生徒でいい印象は残らなかったかも知れませんが、ご挨拶に行ったときも、けなすようなことを言われました。

その後、義母から、その先生は夫のことがお気に入りで、娘が今春大学を卒業したら、もらってくれたらと、ほのめかすことがよくあったと聞きました。

夫に聞くと、「彼女は１０歳も下で、酒の席だから本気にしてなかった。二人で会ったこともない。気にすることはなにもない」といいます。
夫はこれからもその先生とお付き合いを続けるつもりのようですが、私は家にまで呼ぶのはやめてほしいと思いますが、どうお付き合いしていけばいいでしょうか？