勤務時間中に延々と何時間も世間話をさせられる

数名が勤務する狭い事務所で働いております。
コアで働く若手は日中ほとんど出払ってしまい、上の人間と二人きりになる事
が多いです。すると、それを待っていましたとばかりに延々と話しかけてきます。

こちらが答えなければ話が成り立たないような質問形式のような事を
あれこれ言ってきて返答をさせたり、大勢の前ではできるような話じゃないからなぁ」
などと言って話が続きます。
上の人間なので、ぶっきら棒に答える事もできず、話をし続けなければ
いけないような強迫観念に駆られ、本当にツライです。

私の仕事は客先から毎日上がってくる伝票を朝方整理してしまえば
後はほとんどする事がありません。
その為仕事が忙しいふりもそうそうできないし、やたらと外へ出るわけにも行かず
防音性の高い、鉛筆一つ床に落とせば響くような状態の密室の狭い空間の中で
このような状態にさせられます。
この状況でどの様に対処すれば話しかけてこなくなるでしょうか？
あー言われたらこー返せば話が広がらないかな・・等自宅で一人、悶々と
考えて練習までしていて本当にノイローゼになりそうな位苦痛です。