職場の上司に依存されてます

離島に配属され離島に住み働いているものです。（20代男性です） 職場の上司の事で困っています。 職場の上司（10才年上の独身男性）が、勝手に家に上がってきたり、勝手に家の車を乗り回したり、勝手に家政婦まがいな事をしてきたり、勝手に私に高価な貢ぎ物をしてきたりで非常に困っています。 正直非常にありがた迷惑です。 又自分以外の同僚や私の友人の扱いが信じられないくらい酷いです。 具体的には私への貢ぎ物を買ってこいと言ったり、罵声を浴びせたり、酒を一気飲みさせたりなどです。（私はやめた方が良いと言いました。） しかし離島で尚且つ小さい職場なので、毎日顔を合わせるので無下にも出来ずやめてくれと言えず困っています。 それと私には婚約者がおり、遠距離恋愛なので毎日長電話をしたり、一緒にゲームしたりするのですが（私はその時間が楽しみで普段の仕事を頑張っています）最近その上司が毎日来るので電話が出来ず、非常に嫌で、困っています。 またその上司は婚約者との結婚を反対したり、婚約者より俺の方が私のことを知っていると言ったり何かと婚約者に対抗してきます。 私もハッキリ嫌だ、帰ってくれと言えれば良いのですが‥環境も環境ですし、小心者で言えないでいます。 どうしたらその上司を家から追い出して、関係を薄くすることが出来るでしょうか？ よろしければ皆様のアドバイスお願い致します。