罪悪感

よろしくお願いいたします初めて書き込みいたします。
私は既婚で自営業を営んでおり3歳になる子供が居ます。付き合いも長く生業が上手くいかず結婚のタイミングを
無くしていたころ妊娠を期に一緒になりました。
妻は産後も直ぐ働き、私も自営ですので日中育児をしながらの生活です。
倦怠期を過ぎ肉体の関係は妊娠後～今現在まったくありません。
恐らく子育てと生活でお互い心に余裕が無い為だと思っております。
今回の相談は私自身数年前に欝になりその時仕事先で知り合った人に心身ともに助けられ気が付くと妻以外
の人に心が引かれてしまったことです。
一時の迷いかと思いましたが一線を越えてしまいその相手の方にしばらく既婚であることが言えませんでした。
その後既婚であることを伝え交流も暫く控えていましたが四六時中頭の隅に存在があり消えませんでした。
年末に急に胸騒ぎがしてメールをしてしまい逢って話をしたところ
忘れる為に以前無理に他の男性を好きになろうとした人への気持ちが大きくなった事を聞きました。
とても複雑な気持ちでそれで良かったと思う反面嫉妬にも近い感情が沸きました。
彼女にとっても私にとっても今の状況で付き合っても幸せにはならないし第一多くの人が悲しみます。
しかしこのまま今の家族を維持するのは私には非常に難しく彼女との事は関係なく別れを考えていますが
せめて子供の事生計の事を考慮して後３年は離婚をしないと決めています。
彼女とは今現在終わっており彼女も次の未来の為努力している最中です。
しかしお互い好きと言う感情は消えたわけではありません。
一般的に非常識な行為であることは十分わかっているのですが説明が付かない感情が有る事も事実です。
この様な場合どのようにして気持ちを整理してゆけば良いのでしょうか？ご指南お願いいたします。