【転職】二度と関わりたくない前の職場と関わりのある会社

トピを開いていただき、ありがとうございます。
今、内定を頂いた会社（A社）に行くかを悩んでいます。
というのもA社は今後、私が半年前まで働いていたB社との協業を予定しているというのですが、私はB社に関わりたくないのです。

B社は職場環境が非常に悪く、私は逃げるように1年もせずに辞めました。
理由は「遠方の実家に帰るから」で表面上は上手く退職できたと思います。
※夜逃げのように突然来なくなって辞める人間が多い会社でした。
色々とトラウマもあります。

なのに心機一転、希望通りの会社に内定を頂いたと思ったらまさか協業だなんて・・・。
B社の担当者は私の前の上司たちです。仕事内容から言って、A社に入れば私がこの方たちと関わることを避けることはできないでしょう。
同じ業界にいる以上、ある程度の関わりは覚悟していました。でもそれはあくまで競合のような関係であって、協力体制だなんて思いもしていなかったのです。
実家に帰らなかったことについては、どうとでも説明できますが、ようやく縁が切れたと思っていたのにどうしてという気持ちが消えません。
A社以上の条件での転職もほとんど不可能です。
まだ付き合いのあるB社のバイトに聞いたところ、今は月に2回程度A社に行っているとのことでした。かなり憂鬱です。
仕事ですので、B社の上司も表面は大人の対応をしてくれると思いますが、やりにくいのは間違いないと思います・・・。

皆様ならこの状況で、A社に入社されますか？
内定の返事は遅くとも来週中にすることになっています。

※補足
辞めるときの誓約書等を確認しましたが、私が同業界同業種に転職することは問題ありません。
ただ、B社に不利益なことや情報を漏らさないことと、B社に対して1年間は営業活動などをしないこと（癒着防止のため？）などが記載されていました。