義父の夕方からの訪問をやめてもらいたい

生後三ヶ月の娘がいます。夫とともに実母（日曜日意外フルタイムで勤務）の家に住んでいます。 うちから二時間ほどの距離に住む義父が、娘に会いに来るときの時間がいつも遅いので困ってます。 最近やっと昼夜の区別がついてきて、夜八時ごろから寝かしつけを頑張ってます。 （とはいえ娘が寝つくのは十一時くらいですが…） 夕方からこられると、ご飯、お風呂等どんどん予定がズレこんで 寝かしつける時間も遅くなり、 せっかく整いはじめた生活リズムが狂ってしまうのがイヤなのです。 先日も理由を話して「娘のために昼間に来て欲しい」と頼むと、都合が悪いから別の日にするといい、 今日またメールで「○○日の夕方からいってもいいか」といわれました。 どういえば夕方からの訪問を避けて欲しいとわかってもらえるでしょうか？私自身、親戚とはいえ乳児の所に夜行く事が理解できません。 ちなみに夫は仕事で帰宅時間が遅く、寝かしつけをはじめ育児、そして家事は私一人で奮闘している状態です。 義父は私と娘の退院翌日にも夜九時～十一時という時間に 孫見たさに訪問してきました…。 こういう義父にわかってもらうことは無理でしょうか。