アメリカ留学した方　何年で英語に自信を持てましたか？

夫のアメリカ駐在のため、3年間滞在し昨年帰国しました。
滞在中は夫婦でかなり英語の勉強はしたつもりです。

駐在前から英会話には通っていましたのである程度会話の基礎はできました。個人レッスン、アメリカ人との交流、カレッジでの授業も取り、家でもテレビは英語、新聞も読むなど色々な機会を通してなるべく英語を身につけようとがんばりました。

私は子供がいないため、あまり日本人の方とのお付き合いもありませんでしたし、夫もフロアには彼以外のスタッフは全てアメリカ人という職場環境でした。

しかし、3年たっても私たちの英語は完璧になりませんでした。とくにリスニングが仕事で使えるレベルには達しませんでした。私のTOEICスコアは950点、会話は成り立ちますが、何度か聞き返しが必要ですし、相手も私を「英語が不自由な人」と認識します。ニュースの英語などでもまだまだ知らない単語が出てきます。

そこで質問なのですが、アメリカに留学されてリスニングも完璧で仕事で使われてる方が多いですよね。期間は長い方もいますが、1～2年という短い方も多いはずです。

この差はやはり年齢の違いでしょうか？それとも言語習得の能力の違い？
高校か大学以降に留学して英語に自信をもってアメリカ人と対等に会話ができる方、何年くらいの努力で完璧にリスニングができるようになりましたか？

ここ数年ずっと疑問に思っていたのでトピを立てました。
よろしくお願いします。