機密保持誓約書を返却→再提出することは可能ですか？

はじめまして。 今月から一般派遣で働いているのですが、就業開始後ほどなくして、派遣先の企業より機密保持誓約書に署名するよう書面を渡されました。 内容はごく一般的なもで特段問題なかったため、その場で氏名と住所とシャチハタを押して提出したのですが、後々考えると一派遣社員の住所を派遣先に開示する必要はなかったのではないかと、後悔しています。また、失礼ながら今回の派遣先はあまり信頼できない印象があり、誓約書に住所を記載したことをますます後悔しています。（軽々しく署名した自分のせいですが…） ちなみに信頼できないというのは、興味本位で住所から実際に地図で家を探したりするような人もいる、という話を一部の社員さんから耳にした為です。 実際、働き始めて日も浅いですが、私と別の社員さんが仕事の打ち合わせをしている時、あえてそのスペースに入ってきたり、あからさまに会話に聞き耳を立てているような状況が何度かあったので、「興味本位で～」という話に信憑性が感じられました。 私自身、住所を特定されることにやましさはないのですが、やはり「知られる」ことがなんとなくいい気分ではありません。 家族は放っておいて良いのでは？と言っています。 そこで質問ですが、 今更ながら誓約書を返してもらうことは可能でしょうか。 私としては機密保持に関することなら派遣元と派遣先とで結ぶ契約書で事足りると考えていますが、それでも提出が必要ならば内容に異議はないので、住所を記載せず再提出する分には構いません。 また、現在の派遣先に長くいるつもりはありませんが、契約期間の間は穏便に過ごしたいので、極力角が立たない方法をとりたいです。 ただし、話を持ちかけて「後で」となると、警戒されコピーされたり…という心配もあるので、出来るだけその場で受け取れれば、と思います。 この様な場合どう話をすべきか、どなたか妙案ご教示願います。