再婚や死別ではないが、養子として育てられた方

４０代です。私には血のつながった弟がいて、同じ父母から産まれたのですが、事情があり、産まれた時から親戚の家で育てられています。

お互いの家庭は仲が良くて旅行なども一緒に行きます。兄弟のような従兄弟のような…そんな姉弟として育ってきました。

弟には「叔父さん叔母さん（つまり実父母）から産まれたけれど、この家の子である」ことを、隠すことなく説明していました。すごく荒れたりということはありませんでしたが、高校生でタバコを吸ったり、学校をサボって親が呼び出されたり…と。ちょっと道を逸れたりはしましたが、普通に就職をして、今は実家住まいの独身です。
会えば笑顔で、うちの子（甥姪にあたる）や、私の孫に対しても優しいおじちゃんです。ときどき彼女ができたり、別れたりと、普通の生活を送ってきました。

結婚しないことの裏には、もしかして計り知れない寂しさがあるのかな…。と気になります。
私の知人が「孫が産まれた」話をしたら、弟が「自分は親戚に育てられた」という話を始めたそうです。

養子となった先では一人っ子として育てられたので、もしかしたら人一倍、寂しいと思った事もあるかも知れません。
仲の良い従兄弟？きょうだい？ではありますが、そのことだけはタブーのような感じで、両親とも、その弟とも、腹を割って話した事はありません。

結婚しないこと自体はいいのですが、その理由が、養子になったことだとしたら、私達が頻繁に集まって家族で和気藹々とする姿を見せることは酷なのではないかと気になっています。

弟と同じ立場の方がいらしたら、ご意見いただけますか？