おしゃべり好きの先輩への接し方

私の席の向かいには、お喋り好きな先輩（女性）が座っています。
その先輩は、話をし出すとずっと話し続けるタイプで、話題が飛び火してなかなか話し終わらない感じの人です。

私はひとつの物事に集中したら次に集中できるまで時間がかかる人間で、一度雑談などするとまた仕事に集中できるまでに時間がかかります。
余裕があるときは良いのですが、必至で仕事をしているときもしゃべりかけてくるので対応に困ります。

最初は応じていましたが、最近では相槌を打つ余裕すらなく、たまに無視してしまうことがあります。
ただ、私もお喋りは好きなので、一息つきたいときなどに私から話しかけるときもあります。（先輩は大体いつも雑談に応じてくれます）

自分から話すときは調子が良いけれど、相手から話しかけられるとそっけない態度を取る人＝人の話を聞けない人なのかなと思われたらどうしようと時々心配になります。
女性が少ない職場ですので、先輩とは仲良くしたいのですが…。

私は気にしすぎでしょうか。
また、こういった先輩に対して感じの悪くならない接し方などありましたらアドバイスいただけないでしょうか。