結婚後の友人関係

結婚してから、主人が私の友人関係に
ついて気になるようで、どうすべきか悩んでいます。

独身時代から5年ほどずっと仲良くしていた女友達がいるのですが、その友達の噂(パパがいたり、二股をかけていたり、副業で水商売をしていたり)を聞いたらしく、彼女と関わるのを今後一切やめて欲しいと言われてしまいました。(私も彼氏がいない時はその子と一緒に飲みに行ったり遊んだりしていました。そのことも知り合いから聞いたようです。)

私は彼女といるのは、面白い子だし楽しいのでこれからも変わらず仲良くはしていきたいと思っていたので、今はもう私も結婚してるし遊びに行ったりなどはしないし、彼女と普通にあってランチしたりとかはしたい。と伝えたのですが、それならば一緒にいるのは無理だと言われました。(その情報を聞いたばかりだからかもしれませんが、主人は女の子の怖いところも知ってるので、女の子をあまり信じられないところがあると言ってました。人はすぐには変わらないよ、とも言われました。)

主人の嫌がることはしたくないので、きっぱり縁を切るべきなのか悩んでいます。

時間が経って、その子もそういうことをしない真面目な子になってから、またいつか会えればいいという風に思えばいいのでしょうか、、、。
今度久しぶりに彼女と会う約束もしてるのですが、やはり断るべきでしょうか？