女性との連絡先の交換について

はじめまして。３０歳の男性です。 最近、派遣先の４０代くらいの女性と知り合いました。最初は軽い世間話程度しかしなかったのですが、お互いに英語がある程度できるという共通点があると分かり、一気に話が盛り上がりました。その数日後も、別の男性と３人でさらに話が盛り上がってしまい、退勤後もずっと話していました。お互いの勤務予定がバラバラなので、もしかするともう会うこともないかも知れないと思い、そうなる前に連絡先を聞いておきたかったのですが、なかなかタイミングがありませんでした。 その方のほうから今後の勤務予定を伝えてくれていたおかげで、あと１日だけはその方の勤務する日が分かるのですが、その日は自分は勤務予定ではありません。ただ、職場に忘れ物をしていることを思い出し、それを取りに行くついでに、『せっかく共通点があって仲良くなれたのに、もう会うことはなくなるかもしれないから、連絡先だけ交換しておきませんか』と申し出ようと考えているのですが、不自然でしょうか？ 何回か話しただけなのに、わざわざ休みの日に連絡先を交換するために来るなんて、しつこい男だと思われるでしょうか？連絡先を交換するにしても、お互いがちゃんと出勤している日（いつになるか分かりませんが）にするべきでしょうか？ ちなみに、いわゆる恋愛関係になりたいという思惑は一切ありません。客観的なアドバイスをいただけると嬉しいです。 よろしくお願いします。