別れた父親と会えない子供（父親が会いたがらない）

弟元夫婦のことで相談です。 彼らは離婚しました。子供（現在2歳）は妻（元義妹）のもとで暮らしており、弟は毎月決まった日に養育費を振り込んでいます。（公正証書作成済み） 子供と弟の面接の頻度などは特に取り決めなかったそうです。離婚後何度かは会ったようです。 余談ですが、元妻とは協議離婚とは言えかなりもめて（離婚原因は性格の不一致）顔も見たくないほど、だそうです。 先日、元義妹から「彼（弟）が子供に会ってくれないからどうにかしてほしい」と相談がありました。 弟を問い詰めると、現在の彼女に気を使って会わないようにしている、ということを渋々白状しました。 「面接は子供の権利」ということを説明したのですが、「会いたい気持ちもあるけれど、彼女を大切にしたい」というのが本音らしいです。 どんな理由があるにしろ権利を侵してはいけない、ということは重々承知しています。 ただ、自分が弟の立場になって考えてみたら公に言えないにしても心の中でそう思ってしまうかも、と思いました。想像だけですが、、、。 子供と会わないことによって、元父親には何かペナルティが課せられるのでしょうか？