パワハラ セクハラ

今年入社した7ヶ月目の社会人です。
会社では人事を行なっており、仕事にも少しずつ慣れてきました。
人事をすることは全く嫌ではないのですが、上司の課長がとても嫌いです。
その人は中途採用で現在4年目で課長をしており、私の採用を決めたのもこの人でした。
私のことをとても気に入っているよと周りから言われるのですが、私はどんどん嫌いになっておりこの間喧嘩？ではないですがそのようなことになりました。
私の会社は男性が多く、女性は少ないです。最初の頃に呼び出され、君は話を聞くときの距離（間隔）が近いから、女を使ってると思われるからもう少し離れた方がいいよと言われました。少しイラッとしましたが、素直に聞き入れました。しかし、6月ごろに課長と二人で行動することがあり、その時頭をポンポンされました。とても不快で、気持ち悪かったですが、新人ということもあり、嫌だと言えませんでした。最近喧嘩？した理由は業務でヘルメットをかぶっていた際に重さで少し下を向いていたら頭を思い切り上に上げるよう小突かれました。その衝撃と首がとても痛く、そのあと課長曰く失礼な態度？を私がとったそうです。
そのあと課長の態度がとても悪く、次の日も私にだけよそよそしい態度を取ってきました。そして、その話を部長に話す機会があったので話したのですが、態度が悪かったことは謝りなさいと言われました。
私からしたら、距離が近いといわれ、気をつけているのにもかかわらず、向こうから触ってきたら、小突いたり、私にだけ態度を悪くしたりと謝る意味がわかりませんでしたが、新入社員ということもあり謝りました。
この後どうしたらいいのか、家族や友人、彼や先輩には話して少しスッキリしてきましたが、また会社に行ってそのような態度を取られたらと考えるとなんとも言えない気持ちです。私は間違っているのか。どうすればいいのか。教えてください。