やりたい仕事だけど、家族関係を考えると継ぐのをやめるべきか

農家の後継者です 現在、6年目を終えて仕事の内容や青色申告も一通りできるようになり 再来年、機械のリースが払い終わるタイミングで経営移譲予定ですが、 ワークライフバランスと 父との関係で継ぐべきか悩んでいます。 状況としては、 父は特段、暴力や暴言はないですが 不機嫌な態度での精神的、圧迫が強く 色々と話して仕事の相談もしたいのに話しかけられない雰囲気でした。 それでも話さないとと思い、自分が勉強してきた知識で「ここはこう思う、こうやって見たい」と伝えた時期がありましたが、「やっても経験上、意味がない」、「経営を悪くしたいならやってみろ」などと上手く話せませんでした。 作業中での会話だったので、何回か話し合いの時間を設けてゆっくり話し合いをしたのですが、気持ちやして欲しいことを伝えても、「俺が悪いんだろ」「変わって欲しいと言われてももう変われない」など、頑固になっています。 関係改善に私自身努めたのですが、4年目くらいから諦めが来てしまい父とのコミュニケーションを避けるようになってしまいました。 私が父を避けてしまってからは、父は「態度がわるいから話しかけられない」と母親経由から言われるようになりました。 私自身は、今までずっと関係改善のためにしてきたし、父親にして欲しいことも明確に伝えてきました。 しかし、特にしてくれることもなく現在に至り その間に2回ほど精神的に追い詰められて病院へ通院もしてます。 妻がいて、妻には就農することを反対されてましたが私が、やりないならと応援してくれましたが、病むわ、性格が暗くなってしまったり、毎日ある仕事なので休みもなく、子育てにも余り参加できずで、やめてほしいといわれています。 仕事は好きですが、父との関係、家庭に参画できないのなら 継ぐのをやめようか悩んでます。 私は親不孝なんでしょうか？ 第三者の意見聞きたいです。