辞めた会社からまた来ないかって言われてます

私は4年ほど前、食品会社に事務職でパートとして入社しました。 1年ほどで移動になり仕事内容も職場も変わってしまい2年くらい働いてましたが、仕事内容や将来の事を考え今年1月に退職しました。 その後4月に正社員で就職できたのですが、入ってすぐに体を壊し退職してしまいました。 それから療養後すぐに就活を始めるも、決まらず今に至ってます。 そんな経緯を知っている当時の上司が、入社当初していた仕事で人を募集するから来ないかと声をかけてくれました。 確かに変わる前の仕事は向いていたわけではないのですが好きだったし、知ってる人も多い環境なので有難いお話なんですが・・・ リストラや契約満了で辞めたわけじゃないので、また戻るというのも考えてしまいます。 知ってるからこそ嫌だなって思うところも多々あるし、戻るとしてもまたパートで時給も高くありません。 かと言って、断ったからとて次があるわけじゃないと思うと断れないかなと思うと決断が出来ないでいます。 こういう経験をお持ちの方が居ましたらアドバイスしていたけると幸いです。 宜しくお願いします。