職場の上司との関係

私の働いている部署の従業員は三名です。 その上司が私の母親くらい歳が離れている女性なのですが どういう風に付き合っていったら良いのか悩んでいます。もう一人は私より10歳くらい年上の女性です。 私は性格が男性っぽいところがあり、人によってはさっぱりしている印象があるかもしれません。 先日、上司にいきなりこう言われました。「山さんは私の事を嫌っている気がする」・・・不意打ちだったので驚きましたが、実は何ヶ月か前にも同じことを言われました。その時は、会社の旅行に行ってきた一週間後くらいにいきなり言われました。 旅行中の行動が気になった、どうして一緒に行動しないのか？というような内容です。 その旅行は他部署の人たちも一緒だったのですが、私はそちらの部署で一人でいる女性と話をしたり他の方と話をしたり 同じ部署の上司と行動したりいろいろでした。 基本的に一人行動が好きですが、勝手な行動はしていません。 旅行先で、通りを歩いて出店を見たり楽しんでいましたが その時に一緒に歩かなかったのが気に入らないとのことでした。 実際には皆それぞれ自由行動でした。 その時は、○○さん（上司の方）の考え過ぎだと思います、私は能天気で一人でも平気な性格なので、気を使わせてしまってすみません、と謝りました。 正直、大人になってからこういった学生時代のような話が出たことにも驚きましたが、こういう上司だから仕方がないとも受け入れました。 しかし先日になってまた同じようなことを言われ、今度は仕事中の私の行動で、仕事が終わればそそくさと帰ってしまうとか 休憩中も一緒にいないとか飲み会も断ることが多いとか言われました。 実際に、私は母親の介護もしているので断ることも多いですし、それは上司も承知済みなんですが。 これから、どうやって付き合うべきか悩んでいます。