新人なのに上司の過度の期待が憂鬱

　表題について皆様のご意見をうかがいたく投稿しました。 　田舎のショッピングセンターのパートに就職したのですが、上司（部署長で５０代くらいの男性）が私の履歴書を見て、「大卒はここには勿体無い。一応パートでいれるがゆくゆくは事務所の仕事もして欲しい。期待している」と言いました。 　ことあるごとに「期待しているら」と言います。入社して一週間も経っていないのに、「君は特別覚えがいいだろう」といような調子です。 　私は大変不器用で頭が固いので、「ムリです、出来ません、不安です」とちゃんと言うのですが、取り合ってくれません。謙虚は美徳じゃないと言われます。 　しかも早くも一人で仕事をさせようとします。別に仕事内容は大学の専攻とも関係ないのに「大卒」というだけで。 　本来不器用で覚えも悪く、しかも仕事の内容が特に苦手な分野で、今の業務だけでも不安なのに、加えて上司の言葉にも追い詰められます。期待はずれとわかった途端、冷遇されないかとも心配になります。 　とても気にしぃなので、「気にするな」と言われても難しいですし…。どのような気持ちで日々を過ごせばよういのか、アドバイスお願いします。