自分勝手なクライアントと縁を切りたい。

新米フリーランスです。 以前勤めていた会社の元上司が独立し、仕事をくれるようになったのですが、元々上司と部下の関係だったからか、都合よく使われている感じがして、関係を続けるべきか悩んでいます。 昔から人使いが荒く、ケチな部分もあったので、嫌な予感はしていましたが、昔からの付き合いだから良くしてくれるかも、と甘く考えていた自分がバカでした。 確かに仕事は振ってくれますが、納期ギリギリ、相場よりかなり安い報酬、儲けにならない雑用、料金踏み倒しなど、デメリットの方が多い気がします。 また、メールの文面も申し訳なさそうにしてくれればまだ協力しようと思えるのですが、こちらを奴隷や道具としてしか見ていないのでは？という感じがします。 そんなことはよくあることなのでしょうか？ フリーになってから出会った他のお客さんは、仕事の振り方も支払いも常識的で丁寧でとても仕事がしやすいです。こういう信頼できる人達とだけ関係を続けていきたいと思っています。 駆け出しのころに仕事をくれたこともあり、人に恩を着せるのが上手い人なので、こちらから縁を切ることに「手のひら返し」のような罪悪感があり、なかなか縁を切れずズルズルきてしまいました。 が、もうそろそろ限界です。 毎回モヤっとするので、これ以上付き合いを続けていると、何のためにフリーランスになったのか分からなくなりそうです。 これも仕事だ、甘えてはいけない、と思って我慢するべきでしょうか？ それとも価値観や常識が合わない自分勝手なクライアントとはバッサリ縁を切り、新しい人脈を作るべきでしょうか？ 利用されないように、損しないように、そんなことばかり考えるのも疲れてきました。 私にフリーランスという働き方は向いていないのでしょうか。 厳しい意見でも何でも構いませんのでアドバイスいただければ幸いです。 よろしくお願いいたします。