シングルマザーの娘と父親の関係

1歳半の娘を持つ30代シングルマザーです。 妊娠が判明したとき、彼との関係がほぼ終わっていたので、「俺の子じゃない」と言われましたが、ひとりで育てるつもりで出産しました。 その後、だんだん彼の態度が変わり、父親であることを受け止めてくれ、 一緒に住んではいないものの、たずねあったりして子供も彼になついています。 彼は娘をとても大切に思っていて、私との仲をなんとかよくしていこうと 思っている様子です。 が、私は彼と一緒に住むとか結婚とかはムリではないかと思っています。 私のわがままかもしれませんが、協力してほしいときにしてもらえなかったりで、もめることが多いのですが、だんだんと彼に対しての愛情が薄れていってます。彼も私もお互い嫌いでもないし、情で一緒にいる感じです。 今はお互い近所に住んでいますが、私の事情で遠くに引越しをしたいと 考えています。 せっかく仲良くしている父親と娘の関係を私の事情で壊してしまうことが とても心苦しいです。 私が遠くに行くのなら、娘を引き取りたいとまで言っています。 この先、私も彼も別の人を探して一緒になったほうがいいと思うのですが、 父娘の関係を壊すのがとてもかわいそうでどうしていいのかわからなくなります。 こんなややこしい関係にアドバイスをお願いします。