勝手に噂されて困っています。

はじめまして。 皆様のご意見や対策を教えて頂きたく今回相談致します。 昨日、別部署の元上司より『話がある』と言われ、お会いました。 すごく話づらそうに『別支店のＡとよく会っているのか？ ○日も休んで会っていたか？』と質問がありました。 その日は子供の用事で休暇だったので否定し、 『今年は学校の行事が色々あり、月１回通院があるのでよく休暇を取っています。何故ですか？』と聞くと 『ヒカルとＡが不倫関係にあり、よく２人で休んでると聞いた。 社内スケジュールを勝手に見て確認してる人が居るから気を付けた方が良い。 心配していた』と。 【昔Ａと私はこの上司の部下でした】 今年度内で２回Ａとは一緒に休みました。退職された元同僚の方と３人で会う為です。 しかし、その日以外は偶然の一致。 ３月の休暇も２日申請していますが、Ａも同日の休暇だったそうです。 【その内の１日は卒業式に在校生は休校のため休暇を提出。Ａは子供さんの卒業式の出席だと思います。学校は別ですが同じ県内なのでほぼ同日かと】 『嘘でもこんな噂で仕事が出来るＡの足を引っ張るのは良く無い』と言われ、私も同感でした。 しかし、子供の行事や病院の為に休暇を取得している事を勝手に不貞扱いされ、すごく不愉快です。 偶然の同日休暇が噂の発端になったと思うので来年度からは今まで避けていた日を選ぶか…【同僚には迷惑をかける事になります】 今まで通りの偶然一致休暇を気にせず堂々としているか… ご意見頂戴したいので宜しくお願いします。 補足として 私は女性で３０代既婚、子供２人 Ａは５歳年上で既婚、子供２人 Ａは別支店で業務を行っているため業務中に会議等含めて会うことは一切ありません。 ただ、繁忙期は同じです。 支店社員は皆、休暇を取得する時は繁忙期や月末週や月・金曜を避けたりする事、皆しているので休暇を取得する日に偏りはあると思います。