今後のキャリアについて

今後のキャリアについて相談したいので客観的なアドバイス頂きたいです。よろしくお願いします。

私は今建築の技術職に勤めているんですが、元々学生時代は接客バイトをしていてすごく楽しかったこともあり、インテリア業界の接客業をすることが夢でした。

就活に落ちて建築業に入ったものの、最初は嫌でしたが3年は頑張ろうと思い慣れてきました。
その後希望職種への転職が叶いましたが、見事に失敗してしまい、元の建築業に戻りました。
仕事は希望通りだったのですが、たまたま入った会社が悪かったのか悪口が常に横行していてとても雰囲気が悪く、スピード社会の効率重視、女社会なので学生時代のカーストに近い関係性がありそれが全く合わなかったのです。

建築業は男社会で、あまり人に興味がなくそもそも仕事量が多すぎて人の悪口を言っている暇がありません。何故か良い人が多いのも特徴で、女性が少ないので女性に優しい傾向にあります。また真面目にコツコツやることが評価されます。

今30歳を目前に、今後のキャリアについて迷っています。建築もインテリアも、どちらも家庭を持っても経験を積んでいける仕事ではあります。
インテリアの接客系がやりたいのはこれからもずっと変わりませんが、たまたま行った所が悪かった気もしますが向いているのは建築業なのかな、、と。でも本当にやりたいならここでキャリアチェンジするしかないのでは？

家庭も視野に入れて考えると、インテリア業界はどうしても平日休みになり、家庭との両立は難しい。のであれば将来バイト程度でも関われたらいいんでは？などと色々と天秤にかけて迷ってしまっています。

やりたいことをその程度で諦めるならダメだ、と言われたらそれまでなんですが、客観的にご意見頂けたらありがたいです。
中途半端な憧れがずっとあるまま、キャリアを積んでいる状態なのでもやもやしてしまっています。