結婚式の２次会に嫌いな人が来るから出席したくない

以前、同じ職場だった人（Ａさん）の結婚式の２次会に来てほしいと言われ、２次会の受付も頼まれました。
その時は、参加すると伝えたのですが、数か月後、私が一番嫌いな人（Ｂさん）にも声を掛けていると知りました。

Ａさんとは、部署は違ったのですが、６年間働いた内の１年ぐらい一緒にお昼ご飯を食べていました。
私は、一緒にお昼を食べていても、職場の人とは、結構割り切った付き合いをする為、正直、２次会に呼ばれるほどの中ではないと思ったのですが、
同じ時期に雇止めされ、それについて色々話したため、Ａさんは、すっかり私の事を親友感覚でいるようです。

とは言え、お世話になった部分もあるので、２次会に参加しようと思っていたのですが、Ｂさんが来る事を知り、気が重いです。
Ｂさんも以前、同じ職場で働いていたのですが、私はＢさんから、全くいわれのない差別的と言うか、人格否定的な事を言われ続けていました。
本当に、何故そんなことを言っているのかわからない内容ばかりで、嫌いと言うよりも、ちょっと異常性を感じるぐらいの人でしたが、何故か、異常なまでに愛想が良く、Ａさんを含め周りの人はＢさんがそんな事を言う人だとは思っていないと思います。（変わった人であることは
みんな知っていたのですが。）

Ｂさんは私たちより以前に退職した為、もう二度と会う事はないと思っていたのですが・・・・。
正直な気持ちを言うと、２次会に参加してＡさんを祝福したいという気持ちより、Ｂさんに会いたくないという気持ちの方が強いのですが、２次会は日曜日で、場所も電車で１時間ぐらい、私は結婚していないため、夫や子供を理由に断ることもできず、受付まで頼まれてるので困っています。
1か月ほどしたら招待状が届くと思うのですが、参加した方が良いでしょうか？
それか、上手く断る理由があれば教えてほしいです。