上司との同行が苦痛です

30代前半のシングルマザーです。
職場で、20歳ほど年上の上司（お子さんも成人している既婚男性）と　２人１組でひとつの仕事に取り組んでいます。

その上司が私のことをいろいろ気にかけてくれ、親切にしてくれるのは有難いのですが、最近だんだんその親切心が苦痛に思えてきました。

苦痛に感じてきた内容は、
・仕事の同行に伴い　毎回ランチをおごってくれる。
・同行中、わざわざ遠回りをして　ドライブしてくる。
・帰宅後も（時々ですが）、たいした事のない用事でプライベートの携帯に電話してくる。
などです。
プライベートでも　ランチやドライブに誘われることがありますが、毎回理由をつけて断っています。

上司としては、変な下心ではなく、本当に親切のつもりでやってあげている事だと思うのですが、私にとってはかなりの苦痛です。
嫌いな人ではないのですが、距離が近くなればなる程、逃げたくなります。

できれば同行もしたくないのですが、『これも仕事だ』と言われれば仕方ないことですし、下手に断って仕事上の関係がギクシャクしてしまうことを恐れています。

個人経営の小さな会社なので相談できる人もおらず、真剣に悩んでいます。
上司とどう接していけば良いのか、アドバイスをお願いします。