近所の男性

夫と死別して一年がたち、近所の男性がしきりに声をかけてきて、物をくれたり、散歩やカラオケにさそわれたりします。手を握ってきたりします。下心があることがみえみえになり、挙句に女の人も待っているんだよ・・なんていわれました。ただ車のこと、空いている道の事などを教えてくれてて大切な人だと思う気持ちもあり、どのようにこの関係をしていったらいいかわかりません。私自身は相手の家庭を苦しめるようなことや、自分の家族に恥をかかせたくない気持ちは強いです。それならはっきり言ったほうがいいと思うのですが、もっと気楽に考えてもいいのかなと思ったり、揺れ動きます。相手を傷つけなくて自分も傷つかないようにうまくかわしてつきあっていけばいいのでしょうか。男女の関係になるつもりがないなら、はっき断ったほうがいいでしょうか。自分の気持ちがわかりません。