40代、女の生き方について

以前にも何度か相談に乗ってもらってますが、発言小町は親身に応えてくださる方が多いと思い投稿させていただきます。
40代女性、会社員です。3人の子供と主人と、数年前に新築した家に暮らしています。実は生き方が分からなくなってきたんです。結婚当初主人はとても優しく、身体が弱くて入退院を繰り返す事はあるものの私ががんばれば・・となんとかやってきました。優しい主人と子供たち、人に羨ましがられたことも何度もありました。それが、3年前に主人の浮気が発覚してから主人が豹変し、けんかになるたびに「お前には魅力がない」とか「輝きがなくなった」などと言われ続けました。それでもなんとかやってきて近頃は昔の主人に戻ってきてくれましたが、それでも時々フラッシュバックのようによみがえります。
また、40になってから入社したことや仕事が管理職に近いからか、会社の飲み会などでも二次会に誘われることが少ないな・・、とは思っていたのですが、先日飲み会のあとノリで数人誘ったところ、深酒した若い子が私に「帰れ、帰れ」と言い始め、20代の女の子たちと差別化しては受けていました。なんとかジョークでその場を凌いだもののかなりショックでした。翌日謝罪に来ましたが・・。
私は、本音を言いにくい人間なんだろうなとは思います。育った環境もあるし、頑固な面もあるのでしょう、とっつきにくいのかとも思います。だけど私も人間です。楽しみたいし、何を言われても平然としているようにみえてかなり傷ついてます。30代まではそれなりに誘われていましたし、逆に今のほうが主人との事があって自分磨きに励んでいます。なんだか主人も含めて周りの人たちが私に対してみる眼が変ってきているようで戸惑っています。長文ですみません。