嫌いじゃないのに

アラフィフ独身、子無しです。 私は何故か子供嫌いと思われています。 実際は普通に友達や兄の子供は好きだし、一緒に遊んだりもします。 また子供にもわりと好かれます。姪も祖父母より私と仲良くしてたし、友達の子供ともすぐ仲良くなります。 全然知らない人の子供にはさほど興味はないけど何かあれば知らん顔するほど冷酷でもないです。 懐いてくれたり、膝にのせて遊んでいるとき 必ず周りの人(うちの母や友達)は「あなたは子供嫌いなのに何故か好かれるよね」と決めつけて言います。 母なんかは義姉や私の知り合いの前で言いますし、昔同僚も部長のお宅でそこの子供と遊んでる私を見て言いました。 子供の親もいるし雰囲気悪くなるし、私も実際違うので別に嫌いではないよと言うのですが。子供嫌いということも言ったことはないです。 なぜ子供や子供の親がいる前で平気でそういうことを言うのでしょうか。 私も含め他の人も「え？」ってなって良い感情にならないと思うのです。 そして何故勝手に子供嫌いと思われるのか。 顔は狸顔で話し方ものんびりしてキーキーしていません。口数もさほど多くないし。 独身で子供いないとそう思われるのか。 なんとなく毎回モヤモヤします。