「１０分」とか「３分」とか、意味なく言ってないと思いますよ。
そのくらいを目安にして終わらせてね、くらいの意味だと思います。

「いやいやいや、上司さんほど私仕事できませんから、そんな短時間じゃ終わりませんよ。倍かけてもいいですか？」

と、よいしょしながら、文句を言うのはいかがですか？

未熟とは思いませんが、真面目過ぎるかなーとは思います。

その「１０分で」とか「３分で」というのを、いちいち「簡単だろ？」と言われているように受け取っているんだと思いますよ。

私も父の介護をしているときに「俺の世話なんて簡単だろ？」と言うので「簡単なら、自分でやれよ」と思いました。聞こえないように毒づく、という手も使いました。

職場で男性が「俺なら～」と言い出したら、自慢したいんですから、させてあげましょう。

「ああ～～、私じゃ２０分かかるので、お断りしてもいいでしょうか？　そのお仕事は通常営業さんがなさると聞きかじっております」と言ってみたら、トピ主さんにうまく意図が伝わっていないことが相手にもわかる、とは思いますが。

言うのが得策かどうかは、その上司さんの性格によります。

下手すると「じゃあ、いい」と上司さんの機嫌を損ねて、仕事は振られなくなったけれど、それっきり相手の態度が冷たい、ということにもなりかねません。

まずは相手の意図を確認したほうがいいんじゃないかと思います。

「俺なら１０分で」と言い出したら「それは簡単に出来るとおっしゃりたいのでしょうか？」と真顔で聞き返してみてはいかがでしょう？