結婚後の正社員復帰

結婚を期に退職した会社に、正社員として復帰しました。
定時などがない職場だったので、家庭と両立出来そうにないと私自身が思った事と、主人からもその会社ではなくパートなどで働いて欲しいと言われた為退職しました。
そんな中以前の職場から戻ってこないかと声を掛けていただき主人に相談したところ、勤務時間や休みなどの条件でだいぶと会社側が融通してくれたので戻っても良いとのことでした。
しかし、家事が疎かになってしまうことや、少しの残業や休みの返上なども今は不満のようで、「会社と約束した最初の条件と違う！」と言います。
会社側は普通では有り得ないぐらい優遇してくれていますし、正社員でこの待遇は申し訳なく思っています。
そのことを主人はわかってくれず、少しも融通をきかせることができません。
私としてはこのまま働きたいですが、会社でまた何かある度に主人と揉めることが目に見えています。
やはり主人が望むような、近場で時間も融通がきくようなパートに戻る方が良いでしょうか。
主人と会社…私自身が板挟みになってしまいどうしたら良いのかわからなくなってしまいました。
客観的に見てぜひご意見いただけたら幸いです。