会社の先輩からのもらいもの

先日同じ会社の先輩（お局様的存在）から洋服を頂きました。「似合いそうだし私着ないから」と言われ断れませんでした。 細身のパンツで「もしあまり着ないようだったら返して」と言われました。 実際はいてみると結構大きくてダボダボしていました。おそらく私も着ないと思います。ただ、その先輩がそのパンツをはいた私を見て「すごいぴったり！ちょうどいいね」と言ってきたため上手く断れませんでした。 私の会社は私服なので、これから時々それを着ていかないといけないのかと思うと憂鬱なのです。 今からでも「大きさが合わない」と返した方がいいのか、それとも波風を立てないようにこのままにしておいた方がいいのかわかりません。 もともと嘘が付けない性格なので何度も言おうとしたのですが、今後の事を考えると言えませんでした。 もしこのままにするとして、なにかお礼をした方がいいのでしょうか？ やはり返すのは失礼でしょうか？ くだらない事ではありますが、アドバイスよろしくお願いします。