同棲中の彼と別れたいのに彼が出ていかない場合

お互いバツイチで子供もいます。私の子供と彼と同居している状態です。
彼が嫌いになったわけではないのですが、取り合えず一度清算してお互いの生活、子供のことについて考えたいのです。

理由は
１、共働きで私の仕事も忙しく子供のことで精一杯。家事は全て私がしている。結婚しているわけでもないし、食費しか入れてもらってないので、不満です

２、彼が自分の子供達に会うことが苦痛です。
これは私の我が儘ですが、子供のいる方とお付き合いしながら覚悟が出来てないのかと、意見が飛び交うのが予想されますが、だからこそ私にはお付き合いの相手ではなく、縁を切りたいのです。
喧嘩の原因になります。
彼がわが子を大切に想うのはよくわかりますので、会わないでとは言えません。私もわが子が大切なので、家族だけでやり直し、彼も一人になり思う存分子供に時間をかけてあげたらよいと思います。元奥さんもまだ彼に戻ってきて欲しいようで私に当てつけがましい行動をとってきます。
これも苦痛です。
そんなこと全て含めて清算したく思いますが、彼が全く同意してくれません。
何を言っても無理なんです。
どうしたら良いでしょうか