彼が好き。でも苦しいです。

私は結納・結婚式をし三週間男性と生活をしましたが、婚姻届を提出せず別れました。 こちらの地域はおめでた婚や同棲、離婚等は受け入れられていません。 小町では私のような状態は、バツイチでは無いという考えの方が多いので、仮バツイチと表現させて下さい。 仮バツイチである事を知らずに私と仲良くしていた男性がいました。 最初はお互い友達感覚でした。 彼には彼女がいましたが、彼女の心変りで上手く行かなくなり別れてしまいました。 自棄になった彼が私に交際を申し込んで来ました。 私は自分が仮バツイチであるし、彼の気持ちが彼女にあるのに交際する事は出来ないので「誰とも付き合わない」と断りました。 その後は今まで通り友人として。 でも私は徐々に彼の人柄に惹かれていきましたが、心の中に隠しておく事にしました。私の立場は仮バツイチですから．．．．。 それから彼から何度も交際を申し込まれ、迷いましたがОＫしました。 仮バツイチの事を隠し交際するのは罪悪感があり、話さないといけないと思いましたが、なかなか言えず半年後振られるのを覚悟で打ち明けました。 彼の答えは「障害が大きすぎる。これを乗り越えるほど好きではない。もっと早く話して欲しかった。別れよう」でした。 どうして別れたのか聞かれました。（相手がＤＶ、ニートでした） そして「君だけを悪者にして別れるのは辛いから、僕の隠し事も聞いて欲しい。君と交際を始めた頃、元彼女の事が忘れられなくて浮気旅行をした。当時、元彼女が好きだったと思う」と。 そして私達は別れようとしましたが、三年交際が続いています。 彼からプロポーズをされていますが「障害が大きすぎる、乗り越えるほど好きではない」「元彼女との浮気（本気）旅行」の言葉が頭から離れません。 自分の立場もわきまえず我侭だと思います。前向きになれる方法を教えて下さい。