この場合はどのように対応したらいいですか？

結婚4年目の妻です。 みなさんのご意見とアドバイスを頂けたらと思います。 私は重度のアレルギーをもっています。 夫や家族も知っています。 イベントごとに集まって食事会をしているのですが、 今回はお誕生日会ということで、指定のお店がありました。 そのお店は前におすすめされて夫と一緒に行ったのですが、 病院に行くほどのアレルギーが出てしまったお店でした。 (お店は全く悪くありません。お味はとてもおいしくて良いお店でした。) 正直私としては食べられそうなものを選んで注文したので、 なにに反応が出たのか分かりませんが、もう一度そのお店に行くのは怖いです。 病院に行きましたが、たぶんこれかな？ということで特定できませんでした。 夫にも正直な気持ちを伝えて、申し訳ないけど本当に今回は怖いし、行きたいくないので 欠席させてほしいとお願いしました。 すると夫は次の日に、私はお店に行ってもアレルギーで何も食べないけど気にしないでね！と言ってきたから大丈夫だよ～と言ってきました。 えーそれすごくお店に迷惑だし、周りも私も気まずいよね？ と説得しようと思いましたが、ダメでした。 うちの家族は気にしないよ！と譲りませんでした。 確かに気にしないとは思います。 旅行に行った際もお弁当屋さんに行こうといわれついていくと、 私の食べられないものの専門直売所と飲食店が併設されているお店でした。 直売所でお買い物するのかな？と思い、(気化したものを吸っても苦しいので)外で夫と二人で待っていましたが全然出てこず…。 みんなお店の中で食べてました。 食べるなら教えてほしかったなーと思いましたが、外で1時間ほど待ったことがありました。 この場合は私が気にしすぎなのでしょうか？ 食べないけどついていくのが正解ですか？ ついていくならお店に確認しようと思っています。 本当はあんまり行きたくないです。