母から相続した財産の返還を父が要求してきた・・・

10年ほど前に母が亡くなり、遺産の一部を私と兄とが相続しました。
相続分は葬儀費用などを除いた残りの財産から父が80％程度、私と兄がそれぞれ10％程度ですが、
実際には私や兄名義の通帳に残されていた分（自分たちが貯めた分ではないので、母の財産と勘定しました）より少ないです。
これらは、将来の父からの相続の際の税金に使うと話し合ったので、そのまま残していることを父は知っています。

その数年後、父の提案で実家を建て替えて兄夫婦が同居することになりました。
私は独立したかったのですが、女の一人暮らしは危険とのことで阻止され、兄７０％、私３０％の出費で光水熱メータも別の完全二世帯住宅に建て替えることになりました。
私は貯金のほとんどどとローン、父からの借金で対応しました。

建て替え費用が浮いた父は、一回数十万の海外旅行に年数回行ったり、お金のかかる趣味を始めたり、数年で貯金を使い果たしてしまったようです。
遊ぶお金が無くなったのか、「妻のものは全て自分のもの」「旅行代金が払えないからすぐ返せ」と私たちに相続分の返還要求をしてきました。
私が父からの借金の返済で対応したところ、しばらく静かだったのですが、そのお金もなくなったようです。
今度は「法にのっとった話し合いをしたい」「名義＝相続財産ではない」と言ってきました。

私たちにいったん相続させ、建て替え費用を出させたうえで、返還要求をしてきたことに納得できません。相続していなければ実家建て替えに出せる額も変わってきたからです。
相続税対策が必要な額でもありませんでした。
「葬儀費用を除いた名義＝相続財産」と思っていましたが、父は自信たっぷりです。
実際に「名義＝相続財産ではない」はどこまで本当なのでしょうか？
父との話し合いに応じ、一部でも返還する必要がありますか？
考え方とその法的根拠を教えていただけるとありがたいです。