近所の子供に困っています

３０代専業主婦、３才の娘がいる美沙と言います。２０戸ほどの小規模な新興住宅街に去年の春から住んでいます。
こちらの住宅街には、女の子で娘と年の近い子がいません。小学生以上の女の子ばかりです。

我が家のお隣さんとそのお向かい（我が家からは斜め前）の家には、４才と５才の男の子がいます。
お隣の４才の男の子をＡくん、斜め前の５才の男の子をＢくんと呼びます。
Ａくんには小学生と中学生のお姉さんが、Ｂくんには小学生のお兄さんがいます。どちらのお母さんもあまり愛想がよくありません。挨拶しても無言か軽い会釈だけです。
ＡくんとＢくんは、平日の夕方や週末など、よく住宅街の道路で遊んでいます。自転車に乗っていたりボール遊びだったり道路にお絵かきだったりと様々な遊びをしてます。
我が家は駐車場と庭を少し広く作ってあり、オープン外構が多い住宅街でガレージ扉を付けています。娘を庭で遊ばせる時に外に出ないようにと、外から侵入出来ないようにです。
去年の秋辺りから、娘を庭で遊ばせていると、ＡくんＢくんが娘に声を掛けて来るようになりました。最初の頃はうちの庭に入れて遊ばせてあげていたのですが、男の子だからか、娘のおもちゃを取ったりやや乱暴なので、あまり遊ばせないようにしました。それでもほぼ毎日「遊ぼう！」と元気に誘いに来ます。娘が庭に出ていない時は、わざわざインターホンを鳴らします。
ＡくんもＢくんも道路で遊んでいることが多く、ＡくんＢくんのお母さん達も、専業主婦なのに子供を放置してるように思われます。公園に連れて行かないから、いつも道路で遊んでいるんですよね？
なのでＡくんＢくんと娘を遊ばせたくないし、毎日家に来られるのも困っているんです。普段は「今日はダメだからまたね」とやんわり言うだけです。
どうすればＡくんＢくんは我が家に来なくなるか、いい案があったらお願いします。