電車で２歳の娘の手を握られて‥断れますか？

トピを開いてくださりありがとうございます。 先日２歳２ヶ月の娘と電車に乗りました。 並んで席に座り、娘も機嫌よくお話していたのですが、途中の駅で乗車してきた６０～７０代くらいの男性が向かいの席に座りました。 そして「かわいいねぇ、何歳？」と話しかけられお答えしたところ、娘の前にやってきて「かわいいねぇ」と頬をなで、握手、といった感じで手を握りました。 よく娘に声をかけてくださる方はいますが、いきなり触る方は滅多にいないので驚きました。 その男性は身なりもよくなく、かなりお酒の臭いがして、正直「娘に触られたくない」と思いました。 人見知りの娘も表情も体も硬くしていたので「すみませんが人見知りなので‥」と言いましたが手は握ったまま。 娘に話しかけていました。 娘が一切反応しないので席に戻られたのでホッとしたのですが、すぐにまた来て話しかけながら娘の手を握りました。 娘はまた体を硬くして手を振り払おうとしても離してくれず‥すごい勢いで泣き出しました。 結果、男性は席に戻ったのですが、後から後悔しています。 他人の手を勝手に握らないのと同じで、相手が幼児であれ勝手に手や頬に触れてほしくない。 最初に「触らないでください」とは言いづらくていえなかったのですが、明らかに娘が嫌がっているのにやめさせられなかったことが悔やまれます。 ただ、言いづらいだけではなく「触らないでほしい」と伝えた場合、相手に逆上されたら怖いという思いもありました。 ちなみに、席を替えるということも考えましたが、それにはやはり娘の手を離してもらうように言わなければいけない。（駅でもないのに） 車内はけっこう混んでいて、私は大荷物で移動も大変でした。 また、２回目来ることが分かっていれば移動しましたが、まさかまた来るとは思いませんでした。 みなさんならどうされたでしょうか？ よろしくお願いします。