相槌を打たない人はいますか？

かれこれ10年以上お昼は同僚女性と二人で食べています、40歳独身女です。
が、最近ふと気付いてしまいました、彼女が私の話には一切相槌を打たないことに。

例えば朝通勤途中でこんな人がいてね～と話したら、みなさんはその話に何の興味もなくても「へぇー」くらいは言いませんか？
しかし彼女はまっすぐ無表情で私を見つめ、無言なんです。
身内や友達に聞いたら私の話は返答に困る内容でもないし、相槌を打たない人には会ったことがないそうです。
私の話には興味がないんだろうと諦めて、彼女の好きな韓流スターの話しばかりしてますが、それはウキウキと話してます。

ある時あまりにも腹がたったので、彼女が会社の人が○○で～、何々だったの～と言って来た時に、私も無表情で彼女をじっと見つめ、無言でいてみました。
すると、彼女はポカン？とした顔をして、スローモーションで首をゆーっくりと肩についちゃうんじないかってくらい傾げたんです。
もしかして彼女は自分が相槌を打たないことに気付いてないのでしょうか？

あと気になったのが、彼女は既婚子持ちで、同じ習い事をしている近所のママ友のことを「毎回『今どこまで進んだ～？』って聞かれるけど、そんな短期間で変わりゃしないのに毎回でうんざり」と言ってたんです。
もしやこのママ友も相槌を打たない彼女に困って、毎回同じことを話すんじゃないかと気になりました。

今更二人でお昼はやめることも出来ません、普段は普通に会話が成り立ちます。
でも、いきなり無表情、無言があるのでそれが苦痛です。
相槌を打たない人って周りにいますか？
本人にはっきり聞いてもいいものでしょうか？