義父母に困っています

私は31歳で、旦那は32歳。7歳と6歳の子供がいます。 旦那は調理師で、今は料金設定の高めなお店でまじめに働いています。 義母の姉夫婦が商売をやっているんですが、高齢のため、土地・建物を売って田舎に新しい家を買い、引っ越したいと話をしていました。 再開発が進み、土地の価格自体は上がっているらしいのですが、だいぶ昔に建てられた物で、昔の長屋のように？屋根が左右隣の建物とつながっているそうです。 中々買い手が付かず、私達にそこを買ってお店をやれば？と義母さんから話が振られたのですが、都営住宅に住んでいるので、土地を持ってしまうと出て行かねばならず、そこに住むというのであれば子供を転校させなければならないし、資金面でも今は無理です、と一度はお断りしました。 それからどうしてそうなったのか詳しい経緯は分かりませんが、義父さんの早期退職金から1800万円を貸して、中古で家を買い、引越しはしました。 それから数ヶ月経ち、2時間かけて毎日お店まで通っているそうです。 先日義父母と一緒に旅行に行った際、またその話をされ、 ｢立地条件は悪くないと思うんだけど｣←斜め前にジョ○サンがありますし、繁華街からは離れているので周りにはシャッターが目立ちます ｢買うのが無理なら、月30万とかで賃貸契約結んだり・・・｣←今の旦那のお給料でも足りません ｢でこちゃんはどう思ってるの？｣と聞かれたので 将来的にはお店を出させてあげたいです。でも、簡単に毎日5万円売り上げがあればやっていけるかな？と聞かれたので、客単価をいくらくらいに設定して、5万って言ってるの？と聞いたら2千円くらい？とあきれた回答が返ってきますし、まだ子供が小さいけど、私がフロアやるの？義母さん？と聞いたらどちらも嫌だと言っていて、経営のことも分かっていないみたいなんで、しばらくは無理だと思いますと答えました。 旦那もその場所にお店を出す気はないといっていましたが、何か言われたようで、少しその気になっているようです。 一度はっきり断っているにもかかわらず、何度もこの話をされるので、少々嫌気がさしています。 もうこの話を持ってこられない方法はないでしょうか・・・。