離婚後の子供と旦那との接し方

５年の結婚生活を経て離婚しました。５歳になる子供は旦那とともに旦那方の実家にいます。 離婚の理由は性格の不一致ですが、子供に寂しい思いをさせていることへの罪悪感はありますが、旦那にはもう何の感情もありません。 離婚した以上は別々の人生、私も恋人がおり、旦那が再婚するのにも反対はしません。 が、元旦那は子供にふさわしい母親になるために恋人と別れろといいます。 旦那は離婚した直後は多少うわついていましたが、元々女性が苦手なため、離婚後、恋愛などもしていなさそうです。 正直、私が恋人と楽しそうにしているのをやっかんでいるとしか思えないのですが、私は今の恋人とは真剣に付き合っていますし、すでに他人の元旦那にとやかく言われる筋合いはないと思っています。子供を盾に持論をふりかざす元旦那に辟易しています。 何か良いアドバイスをいただけないでしょうか。