別れた方がいいんでしょうか...

付き合うのと同時に同棲し始めた彼氏がいるのですが、半年を過ぎてから常に一緒にいるのが少しキツくなってきました。高校卒業して、就職と同時に同棲を始めて１年になります。彼は私との将来を考えてくれてて、彼の両親にも合わせてくれました。ただ、一緒にいるうちに嫌なところが目に付き始め....
6つ上の彼なので、私を下に見るのも分かりますが、車に忘れ物をすると私に取りに行かせたり、言い方にとげがあったり、私と彼と彼の友人の女の子と出かけたり、急に同棲しているアパートに彼の友達(男性)を2ヶ月間も住まわせたり、少しでもその男性と普通の当たり障りない会話をしていると「どれだけ僕が警戒していると思ってるの？」と言われたり、一緒に居ると疲れると言われたり、なにかある度に馬鹿だ阿呆だと笑いながら言われたり、心が病みそうになったことも何度もあります。
でも、好きな所があるから距離を置こうとかも言えませんし、仕事以外は常に一緒にいたいと思っているみたいで、自分の時間もありません。
私の実家はアパートから車で1時間ほどなのですが、2週間に１回実家へ帰る(彼も一緒に)のも全て彼の実家へ通うのに変わりました。
すごく自分勝手で、人の気持ちも考えられない人なのに、好きでいるのが信じられません。
常に彼の機嫌を伺ってばかりいます。
ホームシックというか、母のもとへ帰りたい気持ちでいっぱいです。
距離を置こうといっても、私も平日は仕事があるので実家からは通えません。別れたいと言ったらどうなるか分かりません、それが凄く怖いです。
そんなことを考えつつ、別れたくないと思っている自分もいます。どうしたらいいでしょうか、彼の親や兄弟、私が居なくなると辛くて仕方がないという彼にどう伝えればいいでしょうか。
彼が会社に行っている間に荷物まとめて実家に帰ってもいいとおもいますか？また、その後連絡を取らなくてもいいですか..？