私が気にし過ぎですか？ラインのお誘い

皆さんのご意見をお聞かせ下さい。

私は年上の知人(一回り上)のところでバイトしてますが、知人のご主人も一緒に働いています。
仕事柄おじさんたちと接する事が多く、私の性格もあってかおじさんたちの下ネタや冗談も笑い飛ばしたり出来るタイプです。
オーナーのご主人ともそんな感じで話したりしていたのですが、先月から何度か『ラインしょう』と言われてます。とりあえず『友達いないからラインはしない』と断っていますが、深い意味はないと思うのですが、正直引いてしまいます。本来の私なら笑って済ませるのですが、ラインとかメールしようとか言われると途端にさめてしまいます。
話すことがありませんし、何よりオーナーさんにあらぬ誤解を生むかもしれないと思うと、引いてしまいます。
気が若いのか父親の年齢に近い人から言われる事自体信じられないです。

過去にも何度かおじさんたちから誤解を受けてしまったことはあります。
私は決して可愛くも色気もないので、女として見られていないと思っていたりするのですが。

以前に
オーナーのご主人から『二人っきりになれたね』って言われた事がありましたが、てっきり冗談だと思ってた後でのラインだったので、どうしたらいいのか戸惑ってしまいます。
とりあえず今までの私のキャラで通していますが、今後どう接すればいいですか？

私のうぬぼれや誤解かもしれません。ただ単にラインしたいだけかも知れません。

皆さんならこういう場合、どうしますか？