ニオイのキツイ友人を呼びたくない…

愚痴のようになってしまいますが、悩みを聞いて頂ければと思います。

私と夫は子無しの二人暮らしです。
結婚後、夫婦共通の知人（男性）が仕事の都合で偶然すぐ近所に引っ越してきました。
それを知った時にはみんなで盛り上がり、何度か一緒に食事（外食）をし、知人→友人のような関係になりました。
ある程度信頼のおける関係になったので、自宅に招いて手料理を振舞うことにしました。

そして当日判明した事…彼はワキガの持ち主でした。
私たち夫婦は万年鼻炎持ちなので、外で会っていた時にはよく分からなかったし、夏に男性がにおってしまうのはまあ普通かな…と思っていたので、まさかここまでとは気がつきませんでした。
寒い時期に招いたために窓を開けっぱなしにする訳にもいかず、部屋に充満する目に染みるような香り…。
ソファなどの家具にシッカリ臭いが染み付いてしまいました。
彼が帰ったあと洗濯できるものは洗濯し、部屋にはファブリーズを撒きまくりましたが、正直もう招きたくない…。

しかし、私たち夫婦と彼には共通の趣味があり、顔を合わせる＝それをやるなので、何も知らない彼は長時間できる我が家に来るのを楽しみにしています。
（趣味とは、子供たちが数人で顔を突き合わせてやっているのをよく見かける、昨年末に発売されたポータブルな遊びです。長時間やるならコンセントが必要です。）
みんなで遊ぶのは楽しいし、彼はとても優しい良い子です。
ニオイ問題さえなければ時間の許す限り遊びたいのですが、いかんせん密室はキツすぎます。

まだとてもソレを指摘する程深い仲でもないし、毎回我が家に来たがるのをなんて断ろうかと悩んでいます。
あんまり断り続けると不自然かな…とも。

みなさんだったら、こういう場合どうやって対処しますか？