合わない方との雑談

こんにちは。アラサーの女性です。
職場の同僚（少し年上の女性です）とタイプが合わず、仕事以外ではあまり会話をしていません。
それはそれでいいと私は思っていたのですが、職場の年長の男性方から、「あまり仲良くないの？」「みんなと話したら？」と言われます。（”みんな”というのは同僚の女性＋同僚の男性達の輪のことです。）

恐らく同僚の女性も今の距離感で問題ないと思っていると思うのですが、上記の男性達にそつなく対応するにはどのようなお返事をすればよいでしょうか。
因みに同僚の女性と合わないというのは以下のような感じです。

・お互いの冗談が通じなかったり、自虐ネタが通じなくて、微妙な雰囲気になってしまう
・嫌味なのか褒めてるのかわからない感じの会話になってしまい、これまた微妙な雰囲気になってしまう
・興味の対象が合わず、挨拶以外会話が続かない

同僚の女性は割とその日の気分で対応が変わる方なので、私が相手の人物像を掴みかねているというのも一因かもしれません。
とはいえ仕事に必要なやり取りはおおむねできており、業務への支障はほぼありません。