社会保険料が引かれているのに加入されてなかった

短期で仕事をしていたときのことです。
社会保険の加入をしなければならないので、社会保険料を引かれたのですが、後で加入する条件を満たしていないので、引かれた分は返しますと言われました。
しかし、半年以上経つのに返ってきません。加入できなかった期間は国民年金を遡って払ったので、会社がちゃんと厚生年金や保険の加入の手続きをしていたら、二重払いとなるので、年金を管理しているとこから会社に返しなさいと言うので、その連絡が来たら返しますと言われました。でもその会社がそもそも加入の手続きを行なっていなければ、二重払いとは分からないのでずっと返ってこないのではと思います。
会社には何度も返してと言ってますが返ってきません。どうしたらいいですか？