この程度のセクハラで異動願いを出すのは非常識ですか？

２年ほど前、隣りの課の課長に軽いセクハラ？を受けました。 当時私は本社に異動になって間もなかったので周りに馴染もうと帰りに飲みに誘われれば積極的に参加するようにしていたのですが、一度Ａ課長に誘われ、もう１名男性を含めた３人で飲みに行きました。 その際、体を密着してきたり、腿を触られました。 次の日には「日曜にＢ（私）の住んでいる街に遊びに行くので付き合え（命令形）」というメールがきました。 嫌な気持ちになりましたが、立場が上の人なので「用事があるためご案内できません」と丁重にお断りしました。 すると、その日から無視が始まりました。 別の課のため業務的にＡ課長と絡む事が無かったのと、セクハラをされることが無くなったので、かえって都合がよいと思い、会社に相談等することなくそのままにしました。 そしてその状態で２年が経過し、特に困る事も無く現在に至りました。 ところが、来月からＡ課長が直属の上司となる事になってしまいました。 現在私は結婚をし、二十代後半なので今更ちょっかいを出される事は無いかと思いますが、憂鬱でなりません。 業務的に頻繁に絡む事はありませんが、一度誘いを断っただけでその後ずっと無視をするような幼稚（失礼かな。。）な人に仕事の評価をされることに不安を感じています。 まだ、実際に配属になっていませんから実害は受けていませんが、同じ課になる前に異動願いを出そうか迷っています。 もともといずれ子供が出来たら異動したいという気持ちがあったのですが、今回の事で早急に異動したいと思うようになりました。 ただ、この程度の事で、とも思います。 会社に相談する事で大事になるのも嫌ですし、相談したところで最終的に異動出来なかった場合、かえって立場が悪くなるのでは、と思ってしまいます。 皆様、どの様に思われますか？異動は甘ったれた考えでしょうか？