同棲中の彼のこと

私は、２６歳のアルバイト女子です。彼は最近私がストレスになっているようで、「最近束縛しすぎ。」と言われます。昼夜問わず、不規則な生活なので、迷惑かけてるんだなって反省しています。私は一度離婚経験があります。離婚後は実家に帰ってきて、親元で生活していました。そしてバイトをはじめ、彼が現れたのです。でも離れるか離れないかで迷っているのです。
彼は４０歳で結婚経験のない、真面目な会社員です。県外出身で単身赴任で来ているため、いつかは関西の実家へ帰らなくてはなりません。今月は法事で所用で実家に帰らなくてはいけなくなり、１週間ほど離れます。彼は昼間の仕事が終わってから夜、働きに来ていました。実家と彼の家が非常に近いのと、いけばいつでも優しくしてもらっていたので、私も甘えてしまっていました。自分の今の生活では上を望んでもきりがないし、高校生の時にしていたアルバイトだったので、かつての仲間もたくさん残っていて、職場は辞めたくないので、皆に秘密にしています。

彼から職場で声をかけられ、連絡先を教えると、すぐにかかってきて、外でお茶することに。そして、仲良くなりそのままいろんな所へ休日のたびに出かけ、恋人同士の親密な関係になりました。彼には以前、私の前に同棲していた人が２人程いました。一人は子持ちの人だったようで、彼のアパートの生活雑貨を見るとわかります。私と生活するので少しずつ処分していたようですが、彼女が購入したベッドや洋服がまだ残っています。二人目の人は、職場の人のようで、会社帰りにバイトのない日はご飯食べに行ったりしているようです。何かあると、彼は彼女たちにすぐ連絡し、行き先もつげずに、フラ～っと夜や休日に出かけてしまいます。男性同士で結婚式の二次会帰りにキャバクラみたいな飲み屋さんにいっていると連絡がきたことも・・彼らしくないと感じます。一度離れてみたほうがよいでしょうか？