留学中に日本人の恋人を持つこと

こんにちは。私は今アメリカの大学で学生をしています。こちらに来てから一年ちょっと、卒業まではあと一年半です。
去年の暮れに同じ学校の日本人の男性と付き合うことになりました。
お互い学校の寮に住んでいて、勉強でとても忙しく、私はクラブにも入っているので四六時中一緒にいることはありません。
彼には精神面でとても助けられており、また、私も彼の力になってあげることもあり、ケンカもほとんどなくとても良い関係でいます。
でも、海外に来てまで同じ日本人と付き合うというのはどうなんでしょうか？私は英語のために彼氏を作る、という事は出来ません。好きになった相手が英語を喋る方なら良いと思うのですが、私は日本人のことを好きになりました。
確かに英語の上達は心配です。英語を喋る方と付き合った方が英語力も伸びると思います。私自身、自分の英語力には全く満足していませんし、上手くなりたい気持ちがとても強いです。
日本にいる友達に、留学してるのに何で日本人と付き合っているんだと言われました。いけないことなのでしょうか？
付き合い方や英語力へのアドバイスがありましたらよろしくお願いします。