超エリート上司のアシスタント職：自信が無くて迷っています

こんにちは。どうぞ皆様のご意見と知恵をお貸し下さいませ： ３０代前半、秘書やアシスタント職で転職活動中です。約ひと月前に転職エージェントからの紹介で、医師付アシスタントの求人に応募しました。職務内容はスケジュール管理、プレゼン資料作成や翻訳業務等です。受かりそうにないと思ったのですが面接が苦手な私はとにかく場数を踏む事が大事なのと、面接に呼ばれる可能性も少ないと思い、応募してみました。 そのエージェントが何故か私を買ってくれていることもありその計らいで面接に呼ばれました。ただその上司、医師との面接での感じが全く良くなく（その方は若くして教授になった超！のつくエリートで、英語もペラペラ、外見もよく自信がありそうな感じでにこりともせず、私は普通に質問には返答したものの若干委縮してしまい、自分を出せたとは言えない面接でした）不採用を確信していました。他の方は好感の持てる方で一緒に気持ちよくお仕事ができそうだなという印象でした。 ひと月後とても驚いたことに採用の連絡を頂き、それ以降２，３日ずっと悩んでいますが、上司であるその医師とうまくやっていけるか自信無く、お受けするか決められません。以前に威圧感のある上司の元で働いた際は質問などするのが怖く、仕事に悪影響が出た経験があるので尻込みしてしまいます。あまりプロとは言えませんが、アシスタントと上司はかなり近い関係にあるので人間関係の良し悪しで仕事に影響が出る傾向があります・・エージェントに相談したところ、職場での評判は、やはり超エリートだけに変わったところもあるけど若くて気難しくはなく、また周りがサポートして頂ける雰囲気はあるとのこと（面接時も他の方の感じはとても良かったです）。 正直この年齢であまり贅沢を言えないのですが、考えただけで緊張してしまい、どうすべきか迷っています。同じような経験がある方等ご意見を是非頂きたいです。