模範回答になるかどうかは自信がありませんが
「事業主の高い要望の変更に応えきれませんでした。」
で、どうでしょう。

しかしね、
どんな言葉で辞退したのでしょうか？
明らかな嫌がらせには、しかるべき部署に言葉を選んでまっすぐガツンと言っていいのですよ。

夜専属は今も次も困るのですよね？
次も夜専属でなければ夜のシフトも付けるけど夜専属では無理
夜専属シフトでと言われたので家庭の事情とあわずやむなく退職でいいのでは？
それで次の職場が夜専属を考えていて雇ってみたら夜専属は無理な主さんと雇い主じゃどっちも不幸。
それなら落とされた方が主さんにとってはいいでしょう？
人間関係でゴタゴタがあった事は言わない方がいいです。シフトの話だけしかしない。
嘘は言ってないよ。事実だし。
頑張って下さい！

退職理由に前の職場の人間関係的なことを言うのはあまり印象がよくありません。
上司からの風当たりが強くなったことは言わず、シフト時間帯の変更で働くのが厳しくなったため、でいいと思います。
多少の脚色はありなので例えば、「夜の専属になってほしいと言われた」ではなく、「夜のシフトで固定しますと言われた」とした方が良いかと。

いい顔をし嘘をつく方が良くない
どーせ嘘をついても解りますよ。

面接で言わないと同じように望まない時間帯にされるかも？

会社が必要とする時間帯と
自身の希望する時間帯が合わなくなったからではダメなの？

それとも
意地悪されなければ夜の時間帯でも続けられたの？

相手をあまり「悪者」扱いしない程度で、そのまま言えばいいのではありませんか。

家庭の事情で、夜の専属配置を断ったら、風当たりが強くなり、少し嫌がらせもあり、居づらくなった。で良いのでは？。

自分が悪いのなら「言いつくろい」たくなりますが、相手が悪い（自分にできないことを要求されて、断ったら嫌がらせがあった）わけでしょ。

もし転職希望先はシフト制じゃないなら話は極めて簡単、「シフト制が負担で、シフト制じゃないところに転職したいと思った」と言えば「そっか」と納得してもらえると思います。

もしそちらもシフト制なら「朝から夕方と、昼から夜の日が混じるのはいいが、夜専属になって欲しいと言われ、家庭の事情でそれは無理なので辞めることになった」と言えばいい。

嫌がらせされた話は出さない方がいいです。ただ「会社の希望と私の希望が合わなくなった結果、別のところを探すことにした」でよい。

もし転職希望先も「夜専属の可能性もあるのに、それが無理なら困るな」と思えば初めから採用しないでしょうし、そうじゃないなら「この人は、夜ばかりだと困る人なのか。」ということを認識した上で、採用かどうか決めるだろうから双方に好都合だと思います。

面接を受ける会社の勤務形態はどうなってますか？
同じ様なシフト制で無いならタイトルの通りで良いと思います。

端的にシフトの面でどうしても会社と折り合いが合わず泣く泣く～で良いと思います。
前の会社の悪口は本当の事だとしても印象は良くないと思うので言わない方が吉かな。

ありのまま正直に言えばいいことです。

要は、夜の専属が嫌なので辞めました。

これを言って採用されなかったとしても、それはそれで貴方にとっては

いいのではないですか?

>上司に昼から夜の専属になってほしいと言われましたが、家の事情によりそれは難しくお断りしました。

お断りした理由を退職理由にすればいいと思います。