前の職場の上司について

少し気になることがあり、色々なサイトで調べてみても解決しなかったのでこちらで失礼します。 美容業界で働いている20代です。 3月いっぱいで半年ほどお世話になった前の職場を退職し、4月から独立しました。 前の職場を退職する際に、オーナーに誓約書を書かされました。 内容は、 ・顧客やスタッフの個人情報を持ち出さない ・在職時に担当した会社の顧客には今後一切サービスの提供を行わない といったものです。 もちろん退職してから今日まで上記のことは守ってきたのですが、3日ほど前に前職場のオーナーから連絡がありました。 「誓約書の内容はきちんと守っているよね？わたしもあまり細かいことは言いたくないから忠告は1度きりにするけど、わたしの会社の顧客にサービスの提供を行ったら違反になるからね」 という内容でした。 なにもしていないのになぜ忠告という言葉を投げかけられなければいけないのかという怒りと、なにか誤解しているのではないか、という感情でいっぱいでした。 結局こちらが、なにもしていませんがなにかありましたか？と聞くと、なにもないなら大丈夫。という返事のみで、意味が分かりません。 今後関わりたくないので各SNSをブロックしようか悩んでいるのですが、誓約書を書いている以上、何かあった時に連絡が取れないとなるとこれはNG行為なのでしょうか…？ 長くなってしまいましたが、どなたかご意見いただけますと幸いです。