田舎に帰りたい主人

こんにちは。私は東京生まれ東京育ちです。親戚も皆、東京です。主人は田舎出身で大学から東京、大阪などで暮らしていました。同じ就職先で知り合い子供ができたことで結婚し、現在東京に住んでおります。小さい子供が２人の４人家族です。

主人は幼いころ両親が亡くなり子供のいなかった伯父と叔母に育てられました。結婚してから何度も「田舎に帰りたい」と言い出しました。
「今まで世話になったから面倒を見たい」と・・・でもよくよく話を聞いていると伯父が「今まで世話してやったのだから帰ってくるのは当然」と何度も言ってきてるようです。この話は私も面と向かって言われたことが有りました。「帰ってきたら家を建ててやる」とまで言ってました。でも、どうしても私伯父が苦手なんです。田舎に行きたくないのもあるのですが・・子供も私も今の場所がとても気に入ってます。子供は友達と離れるのが嫌だとも言ってます。主人は今の仕事が嫌で自営をやっている伯父のもとで暮らしたいみたいです。主人は単身で田舎に帰り休みのときだけ帰ってくる(車で３時間以上)、でも伯父は家族一緒じゃなきゃダメだと言ってます。たぶん体裁もあるんでしょうね・・。家庭を全く省みない、家族のことより伯父のことをいつも優先にする夫に気持ちも冷めてしまっています。子供の事を考えると離婚はしたくないんですが、一体どうしたらいいかわかりません。