最初の問いについて。
仮にNさんと2人で会っているところを誰か（職場の同僚や上司、奥さんの友人や共通の知人）に見られたかもしれませんね。
それが奥さん（当時は婚約者）にばれて両家巻き込んでの大問題になったかもしれません。
誰にも見られなかったとして、2人で会って何したかったの？
食事だけ？
婚約中で結婚間近だとNさんに言うつもりだったの？言わないつもりだったの？
言ったら「結婚間近なのに告白された女性とノコノコ2人きりで会うってどういうこと？」とNさんに呆れられて告白はなかったことになったかも。
言わなかったとしても「やっぱりNさんとはないな」と思って奥さんと結婚しても、Nさんが「そんなにすぐに結婚って、もしかして私と2人で会った時は婚約中？」と腹を立てて職場の女性にそのことを話してあなたの職場の立ち位置が悪くなったかも。
言わなくて2人で会って「Nさんがいいな、Nさんにしよう」と思えば、それから婚約破棄をしないといけない。
婚約破棄の慰謝料を払わないといけないし、いつどんなルートでNさんにあなたの婚約破棄の話が耳に入るか分からない（酒の場で親戚が口を滑らすとか）。
そこで「婚約してたのに私と会ったの？婚約破棄のことを黙って私と結婚したの？」と呆れられて離婚…。
結婚間近で告白してきた女性と2人きりで会うことは問題大アリでしょうね。

あと、あなたはNさんを忘れられません。
あなたは自己評価が低そうだし、奥さんとの渋々入籍、その後も時々満たされてない時にNさんを思い出すのはあなたの現実逃避なんですよ。
あなたが幸せだったらNさんのことなんて思い出さないと思うけど、思い出すってことは満たされてないから。
忘れられないのには理由があり、その理由が解消されない限り無理です。

「付き合っていた女性に急かされ」とか「ある意味勢いで結婚」とか、結婚は本望じゃなかったみたいな未練がましさがだだ漏れですよ。結婚を奥様のせいにしたいようですが、一生独身のリスクを取りたくないからとトピ主さんが”自分で”決めたのです。

Ｎさんだって既婚者になったトピ主さんからいまさら個人的な連絡をもらっても困惑するだけだと思います。不倫の下心だって警戒するでしょう。だいたいトピ主さん、Ｎさんの事なんてほとんど知らないでしょ？だから理想の相手みたいに思えるんです。

トピ主さんのような方は、Ｎさんと結婚してたとしてもきっと同じ悩みを抱えたと思います。喧嘩になれば同じように「別れた元婚約者は違うところを見てくれて、自分を理解してくれていた。彼女が忘れられません。」ってね。Nさんとお別れになってたら、元婚約者と結婚しておけば良かったと後悔していたはずです。

だいたいそこまでＮさんが気になっていたと言うのなら、自分が悪者になる覚悟で婚約者と別れ、Ｎさんとつきあう選択をすればよかっただけです。その選択で追う社会的なリスクや将来への影響と、Nさんからの好意を天秤にかけて、後者を選ばなかったのは自分自身だという事を忘れないでください。

逃した魚の事ばかり考えて、捕まえた魚まで逃してしまう事態にならなければよいですね。

あくまでもNさんとは浮気をしたかったかのように読めますが・・。
婚約者と別れる覚悟も無く、単に二人で会いたかった！という感じですからね。
婚約者と別れず、またはそれを隠して当時Nさんに会って何がしたかったのでしょう？

そして現在もまた既婚者の主さんがNさんと何を話したいのですか？

仮にNさんが現在も独身だとして、既婚男性に告白まがいの事をされて喜ぶ筈は無いですよ？
不倫関係に誘われてる気になりますからね。

自分都合の勝手な真似はしない事ですね。

主さんは、欲しかったけど手に入らなかったものって今まで経験がありませんか？
子どものころに欲しかったけど買ってもらえなかったとか、限定品で手に入らなかったとか。

そういうものって、手に入れてしまうと案外普通のものに感じると言うか、手に入らないからこそ貴重に感じても手に入れると薄れるというか。

そういうことだと思いますよ、この女性に関しても。
だって相手から言われるまで何とも思ってなかったのですから。それに奥様と喧嘩するとこの女性を思い出すのもそのしるしです。奥様とうまくいってるときは忘れているのでしょう？その程度ということです。

ああ、手に入らなかった、あの時こうしていればと思えば思うほど、忘れられなくなります。