義父義兄の言動

妻が実家に里帰り出産で帰っているので1週間ぶりに会いにいきました。 昼間は義父は家を出ておりましたが、夜になり帰宅して来ました。挨拶を済ませ息子（1歳）の名前を呼びこちらに来るように言ったのですが来なかったのを見た義父が「父ちゃんは嫌だねー」と言ってきました。以前も同じことがあり腹が立ったのですが我慢をしていました。義兄には、結婚をする前に「低所得で、安定しない仕事で子供ができたらかわいそう。」と、ひどく罵られました。どうしてそう言われないといけないのでしょうか？私は今すごく不信感を持ちできることなら妻の実家にはあまり行きたくありません。家族のためには良好な関係を築いていきたいのですが、どうしたら良いのかわかりません。何かアドバイスがあれば教えてください、、、