私は冷たいでしょうか？

結婚して３年になります、ハナと申します。

結婚する際に夫の母から同居したいと言う話があったのですが、新婚なので２人暮らししたいのと、
義妹がいたので「しばらくは二人で暮らしたい」と夫に言い、現在も２人暮らしをしています。

義妹は結婚当初は元気でしたが、しばらくすると心の病気が再発してしまいました。
入退院を繰り返し、今は働く事も出来ず家でボーっとする毎日。
義父がいないため、義母のお給料だけで家計をやりくりしています。
ですが、給料は安く生活は大変だとの事なので、時々お金を手渡ししています。

義母は金銭面でも精神面でも大変らしく、口には出しませんが同居したがってるようです。
だけど私は今は同居したくないんです。
義母は何でも口うるさく言ってくるし、義妹は薬の副作用で一日中ボーっとしてたり時々手足が
硬直して倒れたりします。
私はそんな義妹の状況を見て怖くなってしまいましたし、口うるさい義母からの攻撃に耐えられません。

私と夫が２人で暮らす家を敷地内に建てると言う案もありましたが、夫は転勤する可能性もないとは言えず、
そうすると建てた家が無駄になってしまうため、その話も立ち消えしました。
かと言って、義母達が住んでいる家に完全同居は厳しいです。
義妹は多分、一生結婚しないと思うので完全同居してしまうとずっと同じ家に暮らし、面倒見ていくことに
なると思います。
金銭面では出来る範囲で援助はしたいと思いますが、これから先もずっと義妹に気を遣い、体調を心配し、
いつ発作が起きるか、いつ悪化して暴れだすかビクビクしながら暮らしていくのはツライです。
出来れば、別々に暮らしていきたいと思うのは冷たいでしょうか？