上司のお誘いが断りにくい

30代前半の派遣社員です。直属の上司（40代半ば既婚者）のお誘いが断りにくく、困っています。 気のせいだと信じたいのですが、私を正社員にする、と釣って、下心がある気がします。 私は彼のただのアシスタントにもかかわらず、私の為に色々と二人で業界についての勉強会を定期的に開いて下さったり、 お仕事の幅を少しずつ広げる機会を下さり、その上司のおかげもあり、楽しくお仕事をしていました。 尊敬できる上司だから、と信用して2,3度二人で飲みに行ったのですが、 先日、同じ部署の方が退職する際のプレゼントを一緒に買いに行くことになりました。 （私一人にお願いするのは申し訳ない、その後に飲みに行こう、とのことでした。） ただ、買い物が終わった後、なんと某○○ヒルズの展望台のチケットを事前に購入されており、 一緒に見に行こう、と誘われました。“普通の上司・部下の関係ではないかも”と意識した瞬間でした。 その後は料亭でお食事をし、バーで飲んで帰りました。 先日、“今度は勉強会を外でやろう”と言われ、その際は承諾してしまったのですが、 正直何か起りそうな、不自然な、怖い気持ちがしており、断ろうか迷っています。 正直、私が派遣社員で不安定な生活をしていることで、“正社員にしたいと思っている” と足元を見られているのかとも感じます。 ただ、同時に、私が断れば、業務内容も以前に戻ってしまい、解雇にもつながる気がています。 何より、その上司に態度を変えられて、お仕事がやりにくくなってしまう気がして、怖いのです。 これまでの経験から、派遣会社に話すと、人事が間に入って余計に話がこじれるため、頼ろうとは思っていません。 情けないのですが、こんな私に アドバイスを頂けますでしょうか。 どうぞよろしくお願いいたします。