娘の家庭教師をしてくれた部下との噂

40代の会社員です。
15歳になる娘がいます。
実は20代前半で結婚して、娘が生まれました。
20代中盤で離婚して親権は母親の方へ母親とともに娘は生きてきました。
私は30代前半で転職して、再婚しました。

しかし昨年、母親が急な病で倒れ長期入院を余儀なくされ、娘は身寄りがなくなってしまい、現妻の許しを得て当面は他県である私が引き取ることになりました。
私たち夫婦には子供がなく、妻も本当の娘のように接してくれました。

娘は中３で高校受験を控えていました、その時期に引越しや転校などさぞ、辛かっただろうと思います。
娘の意思は寮のある高校に行くと、出来れば母親が入院している病院の近くの高校に行くと結論を持っていました。
その高校は学力が高く、娘のその時の実力では難しいと言われていました。

そんな昨年の秋、デパートで娘と2人で買い物していると部下の入社2年目の女性部下とばったり会いました。
彼女は彼氏と一緒でお茶を一緒にしました、その時、娘の境遇などを話しました。
彼女も彼もとても真剣に捉えてくれて｢お世話になった分、私が今度は返します｣と家庭教師をかって出てくれました。
好意に甘えて、それから、火曜、木曜、たまに彼が土曜に私の家で仕事終わりに2時間ほど勉強を見てくれるようになりました。
娘はおかげで第一志望に合格。彼らには非常に感謝しています。

しかし、ここに来て変な噂が立ってしまいました。
私と彼女が不倫しているというもので、会社にも聞き取り調査されました。
おそらく、自宅に招いたのを誰かが見た物と思われます。
否定し顛末を話しましたが、今ひとつ信用して貰えていません。
私はともかく、彼女に迷惑になり申し訳ない思いで一杯です、会社に入れなかった自分のミスです。
私はどの様に疑惑を払拭するべきでしょうか？