職場の先輩と話したくない

初めて投稿します。 うちの会社は工場地帯にあり、近くにランチできるお店がほぼなく、お昼休憩は皆仕出し弁当を食べる形です。 女子社員は休憩室で食べるよう言われているのですが、毎日年配の女性社員と気まずい空気の中過ごしています。 話好きなようで話題を振られるのですが、すぐ打ち返されなくなり、こちらが話題を振ったりネタを提供しなければ間が持ちません。 無言でも私は苦ではないのですが、こちらの顔色を伺いながら話を振られている気がしていたたまれません。 最寄り駅も同じな為、通勤中見つかってしまうとイヤホンをしてスマホに夢中でも 私がスマホをやめるまで声をかけ、謝罪も特になく話を始めます。しかしこちらから話題を振らなければ沈黙が訪れるので、こんなことなら話しかけてこなくていいのにと毎回嫌な気持ちになります。 お昼に入るときや帰り際は声をかけるようにしていますし、仕事中の雑談には応対するよう心がけています。 話題がないのに話しかけて来るのをやめない人、対話に飢えているのに会話が上手くない人はどのように納得してもらえばいいでしょうか。 自身が大人気なく、コミュニケーションに敏感な性質だと反省もしています。でもその女性と会話するのは疲れますし、仕事もやりがいがなく 一人時間でなんとか日常の退屈さを補いたいと思ってしまいます。 キッパリ断る他ないのでしょうか。