父の不倫、子供に愛情なし

父は自営業しており、今の再婚相手は私の母ではありません。 会社でまた愛人がいます。もう何人目かは不明です。 私は今父の会社に入社しており、毎日愛人と2人でどこかに行き、会社でも変なことをしているみたいで毎日嫌な気持ちになっています。 愛人からは愛人の仕事を父から押し付けられ、そのお金は愛人が受け取っていますが、私の名前で給料明細が出ています。父は了承済みです。「これは私の収入にならないんよね？」と聞くとならないと言われましたが、わかりません。 父は年配なこともあり、私に会社の後継者の話をしてきましたが、給料の話になると私は社員と同じ給料で後継者の話に驚きと怒りとこの人は子供になんか愛情すらないとわかりました。今でさえ、給料があまりなく生活がギリギリの状況でも仕事は増えても給料は上がりません。私は上がりませんが他人はバンバン上がっています。また仕事を押し付けられそうな予感がしています。 私は退職し、父とも縁を切ろうと思っています。父は自分の収入は減らさず、操り人形みたいに使える後継ぎがほしいのでしょう。私は退職したほうがいいですよね？みなさんの意見を聞きたいです。よろしくお願いします