小説の盗作？疑惑について

※ＢＬについて少し触れていますので苦手な方はご注意を！ 私はオリジナルのＢＬ小説サイトを開設して２年になります。 久々に読む側になろうとランキングサイトを巡っていたところ、私の好みにドンピシャな新規サイト様を発見しました。 意気揚々とそのサイト様の小説を読み進めていくと、どこかで読んだ記憶が…。 というよりも、まさしく私が書いたものに似ていました。 普通ならばここで抗議するなり、自サイトで注意喚起するなり対処できますが、実ははっきりと糾弾できない点がいくつかあります。 ・丸々コピーしたわけではなく文章は恐らくその方が一から書いている ・その小説はまだ連載中で(私の小説は完結済み)、今、少し展開が違っている ・主に設定が似ているが、正反対の描写をしている まず、文章はコピーしているわけではないので盗作とは言えないのではないか、と思いました。 そして、ストーリーに関しても序盤から中盤までは完全に私の物語と被っていますが、途中世界観が似ている某有名作品に寄せていってました。 最後に、設定ですが、ことごとく逆に描いているのです。 例えば、主人公の村は子ども不足で困っているという設定を、主人公の村は子どもが多すぎるといった風や、金髪のキャラは銀髪になどです。 舞台設定に関してはそのまんま引用されています(ファンタジーなので色々と細かい独自設定があります) 私が気付いたのも物語の流れもそうですが、その独自設定でもしや？と思いました。 私も必ず他の作品の影響は受けていますし、私の作品に影響を受ける方もいるかもしれません。 けれど、明らかに影響と言う範囲を飛びぬけて二次創作されているような気分になりました。 文字数制限のため説明不足なところもありますが、こう言った場合どういう対処をとれば良いのでしょうか？