別居中の子供との同居

離婚しました。
子供は元夫と住んでいます。
元夫には親が二人、兄弟もいます。
私は一人です。
子供はまだ３歳です。
たまに会わせてもらえますが、帰り際大泣きします。
子供は、元夫の家を抜け出し、私を探しにかなりの距離を歩いたようです。
無事保護されたようですが、その事実は、最近まで隠されていました。
３歳だと子供の意思が尊重されませんか？
私と一緒に住みたいと言っています。
元夫は、仕事が多忙で、育児は祖母がやっているようです。
こちらは一人で不利なのは分かりますが、子供のために絶対いいといわれ、泣く泣く了解しましたが、子供のために一体どうしてあげたらいいのか分からなくなりました。
一人の私でもいいのなら、淋しくないのなら、子供が望んでくれるのなら一緒に暮らしたい。
元夫に話しましたが、取りあってくれません。
元夫の親に話しても、返事は元夫からで、返事はノーです。
でも、子供はいつもママに会いたい、ママと暮らしたいと言っているようです。
たまに参加させてもらう保育園の行事の際、先生から聞きました。
子供と一緒に暮らせる何かアドバイスありましたら、お聞かせ下さい。
よろしくお願いします。
離婚理由は性格の不一致です。
私は正社員。困らない程度に生活しています。