妻との共通の友人に夫婦の悩みを相談する夫（私は相談される側）

大学時代の友人２人が結婚して２年ほど経ちます。妻である友人Ａ子さんとは学部が一緒で、たまにあいさつしたり、飲み会で会話する程度の仲で、それほど親しくありませんでした。一方夫側のＢ男とはゼミとサークルが一緒で大学時代からわりと親しく接してきました。（ちなみにわたしは彼からの告白された経験ありです）

相談したいのは、Ｂ男が夫婦間の悩みごとをわたしに相談してくることです。その内容がささいなぐちとかならともかく、わたしだったら他人に相談したくないようなことなんです。Ａ子さんの不妊治療のこととか、お姑さんとの不仲とか…。
最初は何も考えずに相談に乗っていました。ですが、自分のことを共通の友人に相談されるのってやっぱりいやですよね？そのことを一度Ｂ男に言ったことがあるのですが、彼はいたって気にしていない様子。奥さんがかわいそうといってもいまいちピンときてないみたいです。
彼からは週２、３程度のペースでメールがきて、月１で会ってます。Ｂ男は他に悩みを相談する相手がいないみたいで、相談ごとを聞いてあげたい気持ちもあります。ですが、Ａ子さんのことを考えると彼女に申し訳ない気持ちになります。Ａ子さんと完全に没交渉ならまだいいのですが、年に数回会う機会があります。
このまま彼の相談を聞いてあげるか、それともやめるか悩んでます。
彼はわたしに相談していると一切言っておらず、月１で会うときも男友達と飲みにいくといっているそうです…。こうしたことももしばれたらお互いにいやな思いをしますよね…？
Ｂ男は大事だし、相談に乗ってあげたいけど、奥さんとの関係もあり悩んです。どんなささいなことでもいいので、アドバイスをいただけるありがたいです。よろしくおねがいします。