義父に赤ちゃんを会わせたくない

生れて三か月の赤ちゃんがいる夫婦です。国際結婚で海外に住んでいます。
義母は他界し、義父のみがいます。義父は英語がほとんど話せず会話があまりで来ません。
その義父に赤ちゃんを合わせるのがいやでしかたがないです。
いろいろ思い当たることはあるのですが、分娩室に出産前後2回そして入院中も毎日来たこと。
前に夫に生れて連絡するまで来てほしくないと伝えていたのですが、夫が言わなかったのか無視したのか分娩室まで勝手に来ました。
それから、夫は結婚してから毎日、夜は義父の所で過ごし、私は家に一人ぼっち。それは、義父が一人でさみしいので会いに来ないとキレるからと夫は言っていましたが、本当のところは夫が家にいるのが嫌で出て行ってたのかもしれません。
私は、結婚する前に義母が亡くなり、私は遊びに行って義母と夫と私で住んでいたのですが思い出が多すぎるのですぐに部屋を引き渡し、好意的に義父の家に住んでよいと言われたのですが、私と夫はどなり散らされ、挙句の果てには家から追い出され私はすっかり義父が好きではなくなりました。義母が亡くなってさみしいのはわかりますが受け入れがたいです。
あと、出産に当たり実母が来てくれたのですが、その母に夫は暴言を吐きました。私には本当のことを言われ逆切れしていたように見えました。
どれが原因かわかりませんが、義父に夫がスカイプしているのを見ると、猛烈に嫌悪感が膨らみイライラしだしてたまにキレてしまいます。夫に預けて家事をしている間も、いつ義父とスカイプをしだすかと思うとドキドキしてしまいます。本当は、義父に息子をかわいがってもらうのがいいこともよくわかっています。そして、私がなぜこんなにも義父を嫌い、嫌いなのはいいとして息子と会わせたくないと思うのかがわかりません。なんとか、息子を義父に合わせても穏やかでいられる方法はないでしょうか？