仕事辞めてもいいですか？

３月末で結婚退職を予定しています。パートへの勤務変更も考えましたが、通勤時間が長くなるのが、退職の一番の原因です。 上司には、お付き合いしている人がいる、というようなプライベートな話は一切していませんでした（嘘はついていません。恋人なんかいるわけないと信じていたらしい）。そして年齢も年齢なので、スピード結婚ではあります。 上司に話したところ、「今さら（１１月現在）言われても後任が定着するか解らない、辞めないでほしい」といわれました。「結婚おめでとう」よりも「社会人としての責任感がない、残る人が困るのが解らないのか、損害賠償だ」と泣かれました。少し特殊な仕事なので、なかなかスタッフが定着しないのは確かで、仕事はハードです。 このまま辞めたら、やはり責任感のない人間という印象ばかり残してしまうのでしょうか。そして、辞めてもよいものか・・・・。 上司の立場、残る人の立場、いろいろな立場からご意見ください。