好みのタイプの子に目線が行ってしまうのは男のサガなのか

当方４０代半ば結婚して２人の子どもがいます。昔で言うところのいわゆる聖職者という職業に就いています。 　職場に仕事を一緒にする機会もある２０代半ばのとてもかわいらしい女性がおり、まずいなと思いながらも大人数の中でも、どうしても目線が彼女の所に行ってしまいます。 　まだ学生である自分の娘よりはずっと上でしっかり仕事もできるので、その意味で対等な大人の女性として見てしまい、２０も違う女性に対し、いらぬ事を考えてしまったり、よからぬ事を妄想してしまう時もあります。 　私が時々意識して見ていることは今のところ気が付いてはいないようですが、自分の仕事や立場、年齢などを考えるとこんな事考えてるとまずいなと思っています。（勿論実際に何かしようとは全く考えていませんが・・）親友にこの話をしたところ「好きなタイプの子に自然に目がいってしまうのは男のサガで、男なんてどういう立場でいくつになったってそんなもんだよ。」といっていました。 　仕事が生ぬるいからそんなことが気になるんだとお叱りを受けそうですが、女性の方、男性の方、また実際に聖職者という職業に就いている方の意見、考えが聞ければと思います。