義実家との付き合い方

お世話になります。 30代後半小学校低学年の息子を持つemiriと申します。 舅との付き合い方について教えてください。 10年前病気で夫が他界しました。義実家との仲も良好でよくして頂いてましたが（だと思っていました）2年前姑が他界してからストレスを感じることが多くなってきました。 　まず毎週末に遊びに来い夫が他界してからずっと言われてましたが、現在は月に2回ほどになっています。しかし伺ったところで舅は農業の為子供と遊ぶわけでも会話をするわけでもありませんが、帰るというと引き留められ不思議で仕方ありません。 　また一、二度のことですが一緒に外出した際、私が運転し舅が助手席、子供が後部座席で寝ていた時に手を握られてから過剰かもしれませんが生理的にあまり近づきたくありません。 　子供に「おじいちゃんは命令するし、嫌なことばかり言うからあまり好きではない」と言われ（うちの孫だから私の両親は祖父母ではない、私と暮らせるのは今だけで舅が病気になれば舅と暮らし面倒見なければいけない、義実家の人間として～など）どうフォローしたら良いのかも分からず困っています。 　助言を頂ければ幸いです。