仕事を辞めた方がいいのか？

仕事を辞めた方がいいのか考えています。
20代男。社会人5年目です。平日勤めの他に、退社後の時間や休日等を使ってビル(商務住居兼用)の管理も行っています。そのビルの名義は私ですが、税務管理などをしているのは兄(祖父と母)の会社です。
私はビルの設備や備品の管理、修復、掃除、テナント様や借主様との折衝、家賃(テナント料)の管理などいわゆる一般管理業務全般をやっています。

今までもう一つのビルの雑務管理を行っていた父(外国人。日本語は話せますが、文書の読み書きはできません)が体力的にきつく、引退したいと言い出し、家族はそのビルの管理も私にして欲しいと言っています。

今住み込みで管理しているビルは昔から自分の物になると知っていたのですが、知人に将来結婚して子供ができた時に、ビルの管理だけだと、父親(私)が家でぶらぶらしているようで、教育上良くないと言われたので、今の会社に勤めています。そして今はその仕事も好きです。
しかし、二つのビルの管理をするとなったら、片手間ではできないので、今の仕事を辞めなくてはなりません。

家族は「今の仕事を辞めて、結婚して、ふたつのビル管理に専念して」と言っています。
また、ビルの二階にテナントを持っている義兄(姉の夫)は「資格さえ取れば、歯科クリニックの医療事務として雇うから、実質はビルの管理を中心にして、自分の家(ビルの最上階)にいなくてもいいよ」と言ってくれています。
彼女(今の勤め先の同僚)は「簿記の資格を取って、自分で財務管理もするようにして兄の会社から完全に独立し、今まで通り勤めも続ければいい」と言ってくれます。

私としては学生時代に思い描いたように、今の仕事を続けながら、ビルの管理をできたら良いと思っていますが、彼女の言う通り、そうしてしまったら、家族との関係も悪くなってしまいそうでそれも嫌です。どうしたらよいでしょうか？