いつまでも義兄弟間で距離がある

夫、私、小学生の子どもの2人家族です。

夫には妹（闘病中のため自宅療養、義父母と暮らしている）と兄がいます。
夫の兄は家業を継ぎ、兄嫁さん（専業主婦）と高校生と小学生の子どもがいます。

みなさん、いい人達で、私が夫と交際を始めた頃から約20年経ちます。
しかし、未だに会話が続かず、距離感のある感じです。
夫と夫兄も口数が少なく、会話も途切れ途切れです。
義父母がいる席だと、孫たち4人もいてにぎやかなのですが、先日、義父母不在の中、所用で私たち家族と夫の兄家族とで外食をすることがありました。
本当は食事はしなくてもよかったのですが、義母が「せっかくだからみんなで食事して」とのことでした。
そこで、子供たちだけで離れたテーブルに座り、私たちと兄夫婦が同じテーブルにつきましたが、沈黙が流れ、、、私と兄嫁さんは話の種を色々と出しましたが、会話が続かず…。
夫の兄はスマホを見たり、長距離運転前だったのでうたた寝したりしていました。
私の夫も「今度あそこに新しい商業施設ができるらしいよ」と話を振っていましたが「へえ〜」みたいな感じで

たぶん、私たち夫婦と夫兄夫婦のライフスタイルも全く違いますし、興味関心のある話題もバラバラで共通点がないのも原因だと思います（数カ月に一度会う程度）私が席を離れる時は夫は「すぐ帰ってくる？」と無言の圧があった気がするので、夫も何を話したらいいのかわからないのかもしれません。

身内だからと特別仲良くする必要はないと思いますが、義父母も年を取ってきて、今後はより私たち家族と夫兄夫婦での場面が増えてくると思います。
なるべく当たり障りのない話題を提供していますが、正直もうちょっと前向きに会話に参加してほしいなと思ってしまうくらい話すのがだるそうというか、陰気というか、、、今後もこういう場面があると思いますが、みなさんならどんな話題を出しますか？無理に話す必要もないのでしょうか？