実父との関係に悩んでいます

皆さんに悩みを相談させて下さい。
私は主人の海外単身赴任のために2年前に子どもを2人連れて実家に帰って来ました。
母は数年前に他界し、病気持ちの実の父が1人で実家に住んでいます。

最近、実の父との関係が悪く困っています。
私に対して文句を言いたいようで、毎日細かいことで注意をされます。
部屋が汚い、子どもがうるさいは毎日で、
その他、箱のティッシュペーパーが沢山開封されていることや、
(旅行にティッシュペーパーを持って行ったのでひとつ余計に開けました。)
ゴミを出しすぎる(ゴミ捨ては基本的に私がしています)
トイレットペーパーを買いすぎる(消耗品なので私が購入して片付けておいてありました)等
細かいことまで毎日文句を言われて、気が滅入っています。

部屋も基本的には綺麗にしていますが、
私が夕方仕事から帰ってくる時には
子どもが小学校から帰ってきて散らかすようで
必ず怒られます。
子どもにも片付けるように言っていますが、
遊んでいる時にはどうしても遊び道具を広げなければ遊べないため、
その状態が気に食わないようです。
最近はこの関係を解決すること自体に疲れてきて、
自分の中でもう解決策を考えられない状態です。

主人とも話して早急に家を探して引越しする予定ですが、
実の父が病気持ちであるため本当に引越ししてもよいのか迷っています。

実家に家賃を払っているためか実の父は引越しに反対のようで、
話し合いをすると一旦は大人しくなりますが、すぐに元の父に戻ります。
どうしたらよいのかアドバイスください。