他人に構いすぎる夫

長文愚痴失礼します。 夫婦共に30代子供1歳になりたてが1人の3人家族(＋小型犬)です。 ご近所(同じ通り)には、小学生や幼稚園生のお子さんがいらっしゃる家庭が複数。 どのご家庭もお家の前や庭でよく遊んでいます。 犬の散歩や外出などで通りますが、うちの夫は、ご近所の子供に毎回毎回立ち止まり話しかけてそのまま子供に構い、10-15分ほど話し続けます。 子供が好きなのは知ってましたが、まさかここまでとは。 通りがかりに挨拶したり手を振ったり、は分かります。(無視するわけにもいきませんし) しかし毎回毎回話しかけるので夫が通ると子供達が遊んでくれると思い寄ってくるのです。 夫が仕事で不在の時もインターフォンを鳴らしまくる子供たち。(現在春休みのため子供だけで留守番しているようで、親御さんはご存知ないと思います) 子が昼寝するので私はインターフォンを切っていますが、玄関側の掃き出し窓をノックされることも。 「そりゃあ子供なんて構ってくれる大人と遊びたがるよ。」と、私は思いますが、夫は「そこまで考えてなかった。これからはきちんと考えて行動する」と言いますが、何も変わっておらず・・・。 なんというか、私は自分たちの生活を大切にしたいのです。 はっきり言って他人さんの子供よりも、自分の愛犬の方が大事なので他人様の子供に夫がかまっている時間のせいで愛犬の散歩の時間が短くなったり。 夫が他人様子供と遊ぶ間に「私が愛犬のお散歩に行ってくる」というと、「それは感じが悪いからやめろ」というし。 他人様の子供が「散歩について行く！」と自転車で何人もついて来て、愛犬は楽に散歩できず、な時もありました。 あまりに嫌で強めに話をすると「お前は冷たい、せっかち」だと。 夫は決してキレませんがとにかく態度に出します。子供っぽいのです。 私が平穏に暮らして行くには、離婚するしか方法はないのでしょうか。