一緒に暮らしているのに全く喋らない義父

義父母と一緒に、二世帯ですが、玄関が共同で、左右に分かれる家で、互いに自由に行き来できる環境で暮らしています。ちなみに夫と就学前の子供二人います。
義父は、出かけるときも帰ってくるときも何も言いません。私や、私以外の人の、「行ってきます」、「只今」、に対しても、何も言いません。土日なんかに皆で歓談していても、一人、別室にいます。義母が誘っても、おやつや飲み物を義母が別室に運んで結局一人で食べています。
　なのに、突然、私が夫を名前で呼ぶのを聞いて、「いつまでそんな呼び方しとるんだ！！」と怒鳴られたり、（「お父さん」と呼ばないといけないらしい）一緒にご飯を食べ終わったあと義母と話をしているときに、たまたま私が肘をついていると（ほおずえはついていません）遠くからいきなり、注意されたりします。一緒に車に乗っていても、一切会話に入ってこないのに、夫が数年後に買う車の話をしていて、私は、車には詳しくないし、遠い未来の話なので、あまり興味も沸かなくて、その時は、ふん、ふんと相槌を打っていただけだったのですが、その私の興味なさそうな相槌が気に入らないと突然文句を言われたりします。
　普段会話があるならわかりますが、年中何も会話しない人に、いきなり注意だけされるのは、かなり気分が悪いです。
　義父は会話に入ろうにも、とんちんかんなことしか言えないので。義母以外、息子とさえも全然会話しません。だから、会話が苦手なのはよくわかるのですが、二世帯今更ながら後悔しています。義母でなく、義父とうまくいかない方、のお話が聞きたいです。