どこまで本気？

20代学生まりこです。 以前から疑問に思っていたことがあります。 それは異性から連絡先を渡された時の対応についてです。新幹線で隣になった方、バイト先の社員さん、お客さん、趣味を通じて知り合った方など、いろいろな場面で連絡先を渡されます。 その場では頂くのですが、家に帰ったあと連絡をするべきなのか悩みます。 趣味関係の方や、バイト関係の今後の付き合いに影響が出そうな場合は連絡を返しているのですが、自分に気持ちが無いのに返信するのもダメじゃないの？と友人に言われたこともあり、確かに好意を持たれていることがわかるので、こっちに気持ちが無いときはその場で断るべきだったのかなーと思ったりもしますが、でも付き合いだしなーと思ったり、自分の優柔不断さに呆れます。 個人的にチャラチャラしている人は苦手で、そういう人から連絡先を渡されるときは、誰にでもなのかな？と思いうまくその場で断れるのですが、そういうタイプではない人の場合にこの人はどこまで本気なんだろうと考えてしまいすごく困ります。 私は考えすぎでしょうか。もっと気楽になったほうがいいのでしょうか。 みなさんがどのような対応をなさっているか、是非教えてください。