かつて好きだった人と同じ職場になりそう・・

かつて好きだった人がいます。 彼は、専門性の高い仕事に就いています。（同業他社が日本に3社程しかない） 私は、たまたまその専門スキルを有している為、彼と同じ会社に 入社したいと考えてしまいました。 しかし、さすがにその人と同じ会社に就職するのは、まずいですよね。。 同業他社が沢山あればいいのですが、立地的な面を考慮すると 彼と同じ職場しかありません。 そして、私は既にその会社からも是非選考に進んでほしいという 連絡をいただいています。 かつていろいろあった人と、同じ職場とか私自身良くないと思うのですが、 その会社の業務内容も、社員さんも魅力的で、ここで働きたいという 想いが消えません。 人事からもかなり評価をいただいているのが、また嬉しくどうしても入りたい思ってしまいます。 でも、彼にとってもド迷惑でしょうし、そんな迷惑をかけてまで 夢を追っていいのかとかも思います。 どなたか意見をいただけませんか。