自分の気持ちを優先されると罪悪感が芽生える

こんにちは。ミドサーの女です。
今回皆さんの意見を聞きたく
トピをたてました。

タイトル通り私は自分の気持ちを優先されると罪悪感にかられます。
夫の地元に引っ越してきました。友達もまだ居ません。
夫の友人など会いましたが、地元愛が強いタイプの方達で他所者の私は輪に入る事が中々難しく。
夫の周りは若い頃からの付き合い結婚で家族ぐるみのお付き合いで皆さん仲がいいです。
よく、友人同士で深夜〜朝方まで遊んだりしています。
最初こそ夫に夜出掛けすぎ、1週間に2〜4回は多いと思う。
と伝えましたが、彼の周りでは普通みたいで周りの奥様方も咎める方が居ないそうです。
毎回出かける際、夫は私に
『行って良い？』と聞いてきますが、良いよとしか言えません。
本音の部分では
また？とか今日も？毎回帰りが遅すぎない？
とか思うんですが、まぁでも夫が行きたいって言うし家で何もするわけでもない、、、
私が我慢すれば良いだけかぁ〜
と思ってしまいます。
今回友人に相談した所
私なら怒ってしまう！ありえない！もっと自分の気持ちを言ったほうがいいよ！
との事で、確かになぁと思いました。
ですが、自分の気持ちの優先の仕方が分かりません。
私が嫌だと言えばいかないとは思いますが、私のせいで行けないんだなと罪悪感をもってしまいます。
話し合いも考えましたが、喧嘩や話し合いをした後
夫は通常の態度に戻るまで時間がかかるためその時間が嫌すぎて話し合いがしたくないのあります。
ただ、自分の本音としては
引越して友達も居ないのだから一緒にいて欲しいな
とか
家族になったから家族優先にして欲しいな
と思うのですが夫の周りはよく出かけますし、彼の理想は友達付き合いも大事にしたいのだと思います。
自分の気持ちを優先してもらうと罪悪感にかられるのは何か理由があると思いますか？

ご意見いただけると嬉しいです。