彼から一歩踏み出したいです

私と彼は5歳以上年が離れています。 きっかけは趣味友達からでした。共通の趣味をしていてそこから話が合い、彼からの声かけでよく一緒に遊びに行ったり寝る前に電話をしたりしていました。 共通の趣味が他にもあり楽しい話も悩みも話せる程仲が深まり約半年後にお付き合いを始めました。 彼からの告白で最初は戸惑いましたがとても嬉しかったのを覚えています。 最初3ヶ月は仲のいい恋人同士だったと思います。 ですが、月日を重ねていくうちに彼からの連絡が疎かになっていき風邪で寝ていたという日に友達と遊びに行っていたこと等が友達の話でわかったりしていきました。 友達と遊びたかったんだなと思い何もいいませんでした。 それが段々と女性と2人で会っていることがわかり、隠されることに我慢できず何で嘘をつくのかときいたら「お前うるさい」と言われ2ヶ月間音信不通になりました。 その後ふと急に彼から連絡がきて前のような関係に戻り、また急に音信不通にされて、またふと連絡がきての繰り返しが1年続きました。 連絡が戻ってからは彼の言うとおりにならない時はすぐに怒って音信不通にされてしまい、どうしたらいいのかわからず。怒る理由を聞いても「そんなこと話してもしょうがない」といって話してくれません。 その間にも女性と浮いた話を小耳に挟み調べてもらったら、私との交際時期と被っている女性を含めて最低6人と同じ様な関係を持っていたことを知りました。 付き合ったのは数年前なのですが、今でも連絡がきます。連絡がくると嬉しいですし、とても大切な人でした。 別れ話をしてないせいか戻ってきた時はお前は彼女だよと何度も愛してると言います。 何度も諦めようと思いましたし友達からはモラハラだからすぐきった方がいいと言われました。 終わりにしないといけないと思っていますが、気持ちに整理がつきません。