私が折れるべきでしょうか

結婚して4年経ちました。専業主婦の永津と申します。子供は1歳の男の子がいます。 私の夫はバツイチで、前の奥さんと結婚生活中に、二世帯住宅を建てました。 私との再婚で、私が夫と義両親の住む家に転がり込む形で生活しています。 今は、家のローンを夫と義両親で折半していますが 先日義母から私に 「家を建てる時に、私達(義両親)が年を取ったら、ローンは全額あなた達で払う約束だった。 孫も一歳過ぎたのだから働いてくれ」 と言われました。 驚いて夫に確認すると 「年金からちゃんと払うって言ったから高いローン組んである」 と言われ、もうなんだか良くわからなくなっています。 確かに、そろそろ社会復帰したい気持ちもありますが 年金からローンを支払ってくれさえすれば、もう少し息子の成長を側で見ていられます。 また、家を建てる当時は私では無く前の奥さんです。違う人とした約束を持ち出されてもな・・という気持ちにもなってしまいます。 夫は、そんな約束してないから、まだしばらくは働きに出なくて良いと言っていますが 義両親は色々言って来て 私が働きに出れば丸く収まるような気もします。 私が折れるべきでしょうか。 ちなみに 家の名義は夫です。二世帯住宅とは言っても、一緒に食事をするので 家事はほぼ全て私がやっています。