お昼休みに毎日話しかけてくる上司。

40代、子ども3人、大学でパート勤務をしています。
同じ課（事務所）で働いているのは50代女性（パート）、正職員の50代男性、上司にあたる60代教授の4人です。
仕事の環境は忙しすぎず、かといって暇すぎず、働く時間帯的にも子育てをしながら働くには良い職場だと思います。
ただ、60代教授なのですが（既婚で、孫もいます）…
私ともう一人の女性パートさんがお昼休みにお弁当を食べている真っ最中に、毎日のように話しかけてきます（教授はお昼休みになるかならないかぐらいに事務所でさっさと昼食を食べ終わります）。お昼休みぐらい、女性2人でいろいろとお話をしたいのですが…
しかも、私たちがお弁当を食べているすぐ近くに来て、ずっとベラベラしゃべり続けます。自慢話とか、若い頃はどうだったとか、趣味の登山やスキーの話とか、教授なので専門的なわけのわからない話をしたり、あまり自分と気の合わない先生方の悪口を言ったり、正直言って全く楽しくありません。
正職員の男性は私たちに気を使ってくれているのか、食堂でお弁当を食べていて、お昼休みが終わるころに戻ってきます。
私たちも別室で食べたいのはやまやまですが、お昼休みにも電話がきたりするので、なるべく事務所にいるようにと大学から言われています。
50代パートさんは困惑しつつも一応笑顔で対応しています。
私は話は聞いているふりをしていますが、嫌だな、というのは顔に出ちゃっていると思います。
言えるものなら「昼休みはゆっくりさせてください！」「お弁当を食べているときにベラベラ話しかけてくるのはやめてください！」と言いたいですが…さすがに言えません。
ちなみに、パワハラやセクハラは今のところありません。
何か良い対処法があったら、ぜひ教えてください。