日本人なのに日本語が上手くないコンプレックス

ハーフです。日本語がだんだん下手になっていくのがコンプレックスです。 日本人の父がいましたが、幼少時に母と離婚しました。 今の家族には日本語を話す人誰ひとりいません。 私だけ学生時代から日本で暮らしてます。 日本にいるときだけ日本語を話しますが、家族とは日本語を話さないので、日本語がスッと出てこなかったり、言い回しができなかったり、わからない読めない単語があったりと、日本を離れると日本語のレベルが下がってしまうとよく不安を感じます。 アジア系なので外見で気づかれることないのですが、日本語がおかしいせいか、時に天然？と言われます。初対面の方と「GINZA SIX」について話した時、六丁目にあるからそう名付けられたのを知らず(私は東京在住です)に説明されてハッと気づくと天然？と笑われて恥ずかしい思いをしたことがあります。 また、母の国に何週間もいると日本に帰国すると日本語のイントネーションが一時的におかしくなったりします。 NHKのニュースラジオを聞いたり、わからない単語や漢字の読みがあるとすぐに調べる努力していますが、頭に定着されず活用できていないと感じます。 自分には言語機能の障害を持っているのではないかと疑うこともありました。 一方、母の国のことばを話すときは語彙力が足りないけどこれほど悩む問題ではないです。 もっと言えば、ノートをとる時は日本語がラクで、数字を計算する時は母の国のことばのほうがラクです。 両親は年をとるたびに同じ国で暮らしたいとよく話されますし、家族の元に戻ってきてほしいと言われます。 でも、日本語が下手になると思うとなかなか頭を縦に振ることが...。 正直、日本で暮らすほうが自分に合う気がします。 どうやって自分と向き合えばいいのでしょうか？