同僚の奥さんの勘ぐり

同僚の奥さんに、同僚との仲を勘ぐられて困っています。 私は建設関係の仕事をしており、職場は男性ばかりです。 それでも同僚たちとは入社以来仲が良いです。 遠方に長期出張することも多く、所謂「同じ釜の飯を食う」仲間であり、男女の関係は一切ありません。 そのように受け入れてもらえることは仕事をしていく上で大変ありがたいと思っています。 皆それぞれ家庭を持ちましたが、出張もあるし、時々飲んだりもします。 私も理解ある夫のおかげで仕事も同僚たちとのいい関係も続けていけています。 でも、ある同僚の奥さんが、私と彼の仲を勘ぐっています。 もちろんその同僚とは何もありません。むしろそんなに仲良くないです。 しかし、飲み会や出張に行く時、私がいると奥さんの機嫌が悪くなるそうで、私とは会わないでほしいと言われているそうです。 出張は会社の命令だし、飲み会も大勢でだし、二人で会うことはないです。 同僚が何もないと言っても納得してくれないようで、同僚も面倒くさくなり、私がいても「いない」と言ってるそうです。 私は何もないのにちょっと嫌な気持ちでしたが、あまり気にしていませんでした。 ところが、先日、飲み会をした時に、私がいたことが何かの拍子でバレてしまったようで、奥さんが怒って私に同僚の携帯で電話してきました。（仕事上皆お互いの番号は周知してあります） 私は「何も関係ありません」と言ったのですが、「じゃあ、なぜ旦那は嘘をつくのか？」と全然わかってもらえませんでした。今度会って話がしたいとまで言われ、とっても迷惑です。 その同僚が解決すべきと思いますが、本人は「ごめんね～やきもち焼きで」と軽く考えています。 どう対処したらいいのでしょうか？ご意見きかせてください。 ちなみにその同僚が私に気があるという事実は全くないです。