職場結婚の末の悩み

はじめまして。 私は夫と職場結婚して３年、３０代前半の一児の母です。 私の夫は、夫自身は人間関係で悩むことはありませんが、 周りの人間が苦労させられるタイプの人です。 （変わってる人、って感じです。） 今風にいうと空気の読めない人なのですが、 結婚前までは少なくとも天然だと思っていました。 ところが年数が経つにつれて、 「これはわざとか？」と思えるようになりました。 私は結婚後退職していますが、夫はもちろん働いているので、 今の職場の人たちは私のことを知っている人が多いです。 それでか、やたらと私の話題を未だに出しているようなのです。 それもあまり良い話題ではなく、 後で聞くと必ず私が嫌な思いをすることが多いのです。 （「なんで、そんなこと話したの？」って感じです。） そろそろ新年会忘年会シーズンですが、 はっきり言ってそういうわけで参加してほしくないのです。 職場仲間から仲間はずれにされるから行きたいというのですが、 たしかにその気持ちは私も分かるのです。 でもまたいらんことを話されるのがストレスです。 どうしたら良いでしょうか？