ツイッターで数年相互フォローで仲良くしていた人が苦手になりました。ブロ解すべきか悩んでいます。

相手からフォローしてもらい相互になってから、いろいろな話をしたりおすすめの物事をリプやDMでいただいたりオフで遊びたい旨(同性です)のアピールしてもらったり、こちらが引っ込み思案なので積極的に声かけてくれて嬉しい、できれば期待に応えたいと思っていましたが、こちらの家庭の事情で期待通りの返事ができなかったり、返信が遅くなってしまったりしていて、申し訳ないということと、反応が遅くなりがちということを伝えていたのですが、先日機嫌を損ねてしまった(待たされて不愉快、というツイートを空リプで)みたいで、このまま繋がっていることが苦痛になってしまいました。

現状のお互いのライフスタイルが合わないので、少ない隙間時間を相手への対応に割くのが辛くなってきています。(ほかにも返信をお待たせしている方がいるなかでも即レスを努力していました)
ツイートすることも怖くなり数週間ほどツイートをやめていたら、ほかの仲の良いフォロワーさんにも心配をかけてしまい、どうしたらいいかよくわからなくなってきました。

リアル生活でストレスが多いため、息抜きとして始めたツイッターは続けたいし、ほかに仲の良いフォロワーさんもいるため、アカウント移動は嫌なのでブロ解しかないのかな、と思っています。
ブロ解する前にそれとなく連絡をすべきなのかどうかなど、考えがまとまりません。
アドバイスをいただけたら幸いです。