失敗談。意見聞かせて下さい

３５歳兼業主婦子持ちです。 会社に、誰もが変人だと呼ぶヒステリーさんがいます。 歳は一回り程年上の女性です。 一目見て変わった人だと分かる人で、悪い噂も聞いていたし 出来れば避けて通りたかったのに 昨年の春、我が部署に異動してきました。 部署に女性は私一人。 彼女の接近から上手く逃げる事ができず、微妙な関係を続けてきて1年。　 彼女から同フロアにいる同僚の社内不倫話を聞かされ、 その二人と話をするなと強要され、きっぱり断り逆切れされ断絶しました。 今はお互い口も聞いてません。 長くなりましたが、本題です。 私はその彼女を避けたいのに、1０回誘われれば１回のペースでランチの誘いにのりました。（１年で５回お昼を一緒しました） 悪口めいた相談事をされても真面目に受け答えしてました。 しかし、何を話していても話はかみ合わず、お互いにストレスは溜まっていたと思います。 こんな私を見て主人は、そういう私の態度がいけなかったんだと言います。 日頃から彼女の事を相談すると、「無視をしろ」と 言われ続けてきたのですが無視なんて出来る訳もなく、 彼女にも良いところもあり 当たり障りなく付き合ってきたつもりでした。 が、それがいけなかったというのです。 私にはどういう意味なのかさっぱり分かりません。 嫌だからって、そういう態度をしていいものなのでしょうか？ 結果的に、言われた通り無視しておけばよかったのかな・・と思いつつも、 皆さんならどう対処するのが無難だったと思うか ご意見を聞かせて下さい。