付き合ってからの期間に他の女と同居してた事が発覚！

現在、ひとまわり上の男性と３年付き合っています。

出会いは彼の経営するバーで、一目惚れでした。
その日のうちに、付き合おうと彼に言われ交際が始まりました。

出会いの場が場なので、私も軽い気持ちでスタートしましたが、毎日メールと電話で「会いたい」「頭から離れない」「好きだよ」などと言われ、そのうち毎日会うようになりました。
彼は、本業が自営で建築業なので時間は自由です。

昼間からホテルへ行ったり、週末は旅行に出掛けたりと仕事の以外はお互いに時間を使うようになりました。
しかし、ある時、自宅に連れて行ってもらえないことに疑問を感じました。
聞いてみると「今、仕事の先輩の家で間借りしてるから、自分で借りたら招待しようと思ってるよ」と言われ、何の疑いもなく信じていました。

そして、付き合って２か月程から半同棲し始め、１年経った頃にはほとんど一緒に住んでいました。結婚の話もされていましたが、将来的にはと思っていましたが、何かが引っかかって話を進められませんでした。でも、彼は私の事で頭が一杯。束縛してきます。

それから、２年が経とうとする頃。その「何か」が私の中で明確になったのです。
あるきっかけで、間借りしている先がどうやら違うということに気づきました。

問い詰めると、以前交際していた女性らしく、彼曰く「家庭環境がかわいそうで、住む所を探してあげた。その家ではＳＥＸしてないし、一緒に寝ていない。」と言っています。
信用できないなら、直接会ってみる？などと、相当無神経なことを言われ、当然ですがマジ切れしました。
「今は何もないし、ここで、更新だからもう出るんじゃないかなあ。」と、連絡を取っていないそぶりをしていますが、期間的に更新は１年前で嘘。
これから、そのことについて話そうと思いますが・・・。
皆さんどう思いますか？