通勤時に上司を追い抜いて

私の職場はとある大都市の中心部の駅から徒歩10分にある研究所＆工場です(研究所勤務です)。 同僚は電車通勤が大部分ですが、私は田舎育ちなもので電車通勤の煩わしさに耐えられず、自転車通勤をしています。 工場内の速度は時速20kmに制限されてますが、私は工場内ではほぼその速度に従い力を抜いて走っています(そもそも最速でも30km/hでしか走れないMTBです)。 先日いつもより遅く出勤(就業一時間少し前、日頃はもっと早く通勤しています)に出勤した際に所属部門の上長がかつての部下と談笑しながら歩いているのを追い抜いたのですが、それが上長には挨拶もせずに追い抜いたとしてたいへん気に入らなかったらしく、直接私に叱責をすることもないのですが周りにいる人のいたる所に挨拶もせずに失礼だとか速度違反だとか漏らして文句を言っているようです。 その上長を追い抜くのは初めてでしたが、過去に所属部門内の人を追い抜く際にあいさつをしても音楽を聴いているのか英会話の勉強をしているのかは知りませんがイヤホーンをしていて聞き取れずに相手をされないことが多々ありましたので、最近は早歩きで抜くときは別にして自転車で抜くときは挨拶をしても気づかれないことが多いためあえて挨拶をしていませんでしたが、今回それがその上長の逆鱗に触れたようです(自転車で抜く際にイヤホーンをしているかどうかは判別不可能です)。 今までの傾向から個人的な感情で人事異動を数多くされていますので、近々にどこかに左遷されるのではないかと事情を知っている者(その上長の息のかかった人で良識のある人)に心配されています。 私としては直接謝罪するような案件でもないし放っておこうと思うのですが、何か対処したほうがいいのでしょうか？(ちなみに私は胡麻をすってまで出世したいとは思っていません。)