残業代、不正請求などしていません

　２歳の息子と２人暮らしです。２８歳のシングルマザーで会社員です。
先週の会社でのことなのですが、モヤモヤとした気分が消えず誰かに聞いていただきたく投稿しました。

　私の会社は勤務管理がタイムカードではなく、コンピュータでの自己申告制です。
毎月末にそのデータを各営業所のトップが認証し、経理にデータが送信され給与が支払われます。
　その営業所のトップである上司が私にだけ、残業代を不正につけていないかカマをかけるようにして確認してくることが度々
あります。
同僚に相談したところ、「自己申告制だし結構多めにつけちゃってるけど、上司には何も言われない」とのことでした。
私は多く残業をつけたことなど一度もなく毎月正直に残業時間をつけているのに、なぜ私ばかり疑われるのでしょうか・・
私の残業時間といえば月５時間あるかないかです。

やはり母子家庭だからでしょうか。もしそんなふうに見られているとしたら本当に残念ですし、５年勤めてきましたが
転職を考えようかとも思います。
　
　ちなみにその上司は私のいる部署に今年の４月に異動してきました。私とは仕事のことしか話しません。
業務上のことはごく普通にやりとりはしますが、プライベートなことはほぼ話しません。
悪い方ではありませんが感情的なところがあるので、私もほかの社員もその方とは一線を引いていますが、私は子供を養っていかなければならないので仕事は誠実に真面目に取り組んでいるつもりです。
ですので、そのような不正を働くように思われていることが理解できません・・。

　客観的に見てどのようにお感じでしょうか。ご意見いただければ幸いです。