20半 離婚するべきか

2年前に結婚 入籍直後、義両親が家を建てる提案して下さり、かなり悩んだ末お願いをしました その後、彼は職場の同僚と親密になり月4回飲みに行ったり、絶叫系が苦手でわたしが誘っても行ってくれないディズニーへ同僚とは行く(全て2人きりではない) 結婚記念日1年目は同窓会を優先され祝えず わたしは同時期に大事な昇格試験勉強をして不安定な精神状態の中、かなり揉め事の内容も頻度も悪化しました 他にも勉強の仕方が悪い、仕事で疲れて寝てしまうなら立って勉強しろよと言われる 疲れたのぼやきに対して、そんなの疲れたに入らない俺の方が大変と、今まで気にしなかった日常会話ですら引っかかり苦痛になることが増えました 彼の言い分としては、どれも2人きりではない、肉体関係はない、ディズニーも1番最初に聞いた時は許可が降りた(その後行って欲しくないと伝えたが聞き入れて貰えず) 愚痴言われると沈むから話さないで等 どれも謝罪の言葉は一切無しです そんな事が毎週のように起きた時期があり、相手とやっていける自信がなくなってしまいました 今現在彼は親族に怒られ、同僚と一切連絡を取らなくなり、出かけてもいません。それでもまた傷つけられるのではないかと怖くて踏み出せない自分がいます 建ててくださった家も完成したのですが、未だに住めていません 大変申し訳ないのですが、近隣の親族同士の仲もあまり良くなく、彼とも上手くやっていく自信がないこの状況で住めず、延期を申し出てこの現状です 俺は言われたことを直しているのに(まだ直して約3ヶ月)、引越しもできず身勝手だといわれました また、3ヶ月経っても一緒に住む決心が無い時点でもう今後厳しいから離婚しようとも、、 普段一緒にいると自然体でいられて大切な存在なのに、どっちにも決心つかずの自分が苦しく嫌いです 厳しい意見でもよいので、どなたかアドバイスを頂けませんか