義父が苦手で距離を取りたい

30代男です。 既婚で先日第一子が生まれました。 タイトルの通り義父の性格が苦手であると感じています。 まず、些細なことで尋常ではないほどに怒る(大声で怒鳴る)ことがあります。 例えば義母と妻と私で談笑をしていると、何故か仲間外れにされたと感じたのか一日中イライラ。挙句の果てにはその日の夜に、別の部屋にいた我々のところに怒鳴り込んできて妻に殴りかかる勢いで迫ってきました。 他にも常人であれば「なぜそんなことで？」と思うことでも血管が切れるのではと思う程にブチギレます。(天気予報が当たらないとか) その他にも、地方出身者や貧乏人を馬鹿にするような差別的発言が多く、普段の会話も返答が困ることばかり言ってきます。 私に直接怒鳴るわけではないし、差別的発言も私に言っているわけではないので私が我慢すればいいのかもしれませんが、毎回会うたびに怒鳴り合いの喧嘩を目の前で繰り広げられると気が滅入ります。 しかし義実家は今住んでいるところの徒歩圏内で、よくご飯などに誘われます。義母はとても優しい方なので、食事の誘いを断ると申し訳ないと思い義実家に足を運びますが、当然そこには義父もいるわけで、正直葛藤しております。 こんな状況でわたしの子どもが産まれたので、義父も心を入れ替えてもう怒らない的なことは言ってましたが、50過ぎた人がそう性格を変えられるものでもないと思います。 ましてや子どもの前で怒鳴り合いの喧嘩など始められると悪影響極まりないので、義父とは適度な距離を保ちたいです。 義母は孫が可愛いので会いたがると思うので、なんとか義父を避けて会わせてあげたいのですが、これもまた仲間外れとか言って怒鳴り込まれるのを恐れています。 うまい距離の取り方はあるでしょうか？