職場の方に迷惑でしょうか

小学高学年の娘がいます、30代後半主婦です。
初めての投稿で不慣れですがよろしくお願いします。

現在午前中のみ、事務職のパートをしています。
この不況で主人のお給料が減り、先のことも考え私のパート収入を増やしたいと考えました。
今の午前中の職場は時間延長が無理ということで、午後のみの仕事を探したところ運よく
診療所の夕方診の受付の仕事に採用されました。

双方、副職は可ということですが、お給料を２箇所からいただくことになるので、午前中の職場の上司に採用の報告をしたところ、
不機嫌そうな態度をとられました。それは、診療所で働くということです。　
上司、「病気うつされるから、気をつけないと！」

そうです。その上司は、周りの人から病気をうつされることが許せないのです。つまり、診療所で働く私が、病原菌を職場に
運んでくると考えているのです。
もともと神経質な方だとはわかっていました。私は、ありがたいことに風邪ひとつひかない丈夫だけがとりえのような者でして
言われたことはないのですが、もう一人の上司がちょっと咳こんだりすると、いないスキを狙い、うつされたら困る！迷惑だ！
と、私に言ってくるのです。もちろんそれは、ごもっともだとは思いますが、私は特になんとも思わないので・・・。

運良く見つけた午後の職場は、家からも近く私にとってはありがたいので、上司のそのような性格をすっかり忘れて飛びついて
しまいました。ちなみに、その上司が職場でのいちばんの権力者です（社長よりも）。
午前の仕事を辞めて診療所一本にすることも考えましたが、本当にその仕事ができるか、まずは様子見で
両方のパートをするつもりでいました。

診療所で働くつもりの私は、迷惑な存在になるのでしょうか。もちろんマスクなど自衛はするつもりです。
ご意見をお聞かせください。よろしくお願いします。