就職を断りたい

３１歳女性です。結婚を機に退職してブランクが数年ありますが、知人を介して以前働いていた会社から「契約社員で働かないか？」というお誘いを受けました。暇だから働こうかなと思うこともあるのですが、結婚前に在籍していた会社というのが引っかかっています。一応、結婚を理由にして辞めたのですが、あんまりいい会社ではなかったので辞める機会をずっとうかがっていて、ようやくもっともらしい理由ができたので辞めた。というのが実態です。 「求人を半年以上出し続けているけど人を採用しても長続きしない、皆辞めていくので経験者雇いたい」と声をかけられたらしいのですが、私としては気が進みません。気持ちの大部分が「あんなところで働きたくない」で占められています。しかし、それを持ってきたのがいまだに付き合いのある知人ですので、その方に迷惑かからない断り方を教えてください。