すぐに女性と付き合っていると噂されてしまうので困っています。

今、高校生なのですが、今まで小学生、中学生、そして今も席が近くになった人、同じ班で活動をしている人など、その時その時で近い関係を持つ女性ほとんどと付き合っていると噂されてしまいます。

僕自身は、相手のことを可愛いなと思って接していたとしても、付き合いたいな。などの恋愛感情を持って接したことはありません。

むしろ、正直恋愛の意味もよくわかっていなく、誰ともお付き合いもしたことのないくらいです。

確かに仲良く見えることはあったとしても、していることは男友達と同様に会話を楽しんで、ふざけ合っているだけです。
仲の良い男友達にまで、好きなんだと勘違いされてしまう始末です。
Aちゃん、Bちゃん、CちゃんがいたとしたらAちゃんからは「Cちゃんと付き合ってる？」と聞かれ、Bちゃんからは「Aちゃんと付き合ってる？」と聞かれ、Cちゃんからは「Aちゃんと付き合ってる？」と聞かれるような状態も何度かありました。

これは僕に問題があるのでしょうか。距離が近すぎるんですか？
なんなら、姉がいるため女性特有のノリを他の男友達よりわかると自負しているので、相手の女性は僕のことを女友達だと接しているかもとか思っているのですが、、、

またそんな噂が流れている時って、相手にも届いているものなんですかね？
相手も僕のことをただの友達だと思っているとしたら、とても嫌なので、どうにかしたいです。

僕は顔も決して良い方ではなく目は小さい鼻ぺちゃな平均以下の顔です。身長も平均より10センチくらい低く、運動も平均くらいなのではっきり言ってモテる要素があまりない為、噂されても妥当なくらい女性が恋愛の意味で僕のことが好きってことはあり得ないと思います。

一体どうすれば良いですか？