会社へ遊びに来る上司の息子

はじめまして。最近とても困っている事があり、ご相談です。

私の勤務先は、小さい営業所です。
そこにいるのは私と、上司（男性）だけです。

この春、社会人になった上司の息子さんの勤務地が、偶然にも
私の勤務先の近所で、お昼休みになると頻繁にやって来るようになりました。

昼食後すぐこちらへ来ているようで、お昼休み終了5分前まで帰りません。
上司が不在でも構わず入ってきますし、私が食事をしていても、
仕事をしていても、やはり帰りません。

いくら小さい営業所で、親の勤務先とは言え、会社です。
頻繁に来ること自体理解に苦しみますが、それ以上に私にとっては、
貴重なお昼休みにリラックス出来ず、迷惑です。

今日のお昼休みにも、息子さんが来ました。
ちょうど電話をかけたかったので、

「私用の電話をかけたいのですが・・・」

と、暗に席を外して欲しい旨を伝えたつもりが全く通じず、

「どうぞどうぞ」

と言うだけで、その場から動きませんでした。

お昼休みの来社をやめてもらうには、どう対応するのが効果的でしょうか？
職場の人間関係に問題があるのか、友達がいないのか分かりませんが、
せめて上司がいない時には、すぐに帰って欲しいです・・・。
上司か息子さんのどちらかに、はっきり言うしかないでしょうか。

そもそも上司が、自宅感覚で営業所を使っているようなところがあるので、
息子さんも似たような感覚なのかもしれません。

何かアドバイスを頂けると嬉しいです。