バジルの虫食い

ベランダでバジルを育てています。 7月の頭に苗の状態で購入し、百円ショップで買ったハーブの土と一緒に植木鉢に植え替えました。 最初の１か月は元気に何事もなく育っていたのですが、１週間実家に帰ることあり、その間日陰へ移動させておきました。戻ってみてみるとバジルに虫食いが数か所。 よく見るとバジルの根元の土に穴が開いており、鉢の淵には１mmほどの黒い虫がたうさんはい回っていました。 大の虫嫌いでして、虫を探す勇気がなく、バジルを直射の当たる場所に移動させました。 毎日観察すると、葉っぱに小さな黒い転々が無数についており、調べると虫の糞と似ていました。 ネットで調べて牛乳の原液をスプレーすると次の日にはアブラムシが減っておりました。 しかし虫食いは続くので、遊びに来た友人に虫を探してもらいました。 しかし土を掘っても葉っぱを見ても虫は見つからずです。 それから１週間観察していると、虫に喰われている日と喰われていない日があります。 バジルはたまに摘んで料理に使ったりはしています。 ネットで見るとヨトウムシが怪しいと思います。 しかし有効な対策が見つからずどうしたもんかと悩んでいます。 農薬は一鉢しかないので大げさかなと思います。 お詳しい方、これはやはりヨトウムシでしょうか。 対策はやはり手作業で殺すしかないのでしょうか。