私の心が狭いのでしょうか

小学生、幼稚園児を子育て中の30代後半、結婚10年目の専業主婦です。 義理の父のことで悩んでいます。 義理の両親は、車で１時間の距離、年始やお盆などのお休みや、各々の誕生日やお祝い事などに顔を見せ会うなど、これまでつかず離れずの、比較的良好な関係築いていると思っています。 ここ２年ほど、義両親の病気、入院など相次ぎ、現在、義父は完治しましたが、義母が余命宣告をされ、療養をしているところです。 この状況になり、夫から同居を視野にいれると話がでました。 もしもの話、義母に先立たれた後の義父を呼び寄せるかもと。 悩みとは、私が義父を生理的に受け付けなくなっていることです。 義父は穏やかな見た目で、性格こそ近年丸くなってきたらしいですが、典型的な仕事人間で、家庭のことは義母任せ、酒飲みで居酒屋でつけで飲みまくり借金作って、義母は苦労したきたと、夫から聞き、人は見かけではわからないと思っていました。 生理的に受け付けなくなったのは、一人目出産後、帰省した時に授乳シーンを見られたことです。 授乳は別室で行っていたのですが、ガラッと開けられ、ばっちり見られました。 気づかず開けてしまった、悪気はなかった、とは思っていますが、二人目の時も１度あり、それからは嫌悪感が抑えきれません。 同居をと考えただけで、してない今からストレスに感じています。 良い印象はなかったものの、直接の原因は授乳を見られただけ。 それだけで同居を拒否することは私の心が狭いのではないかと悩んでいます。 夫は、私が真剣に拒否すれば同居はしないと思っていますが、理由がこれでは、男性の理解は得られにくいのかなとも。 皆さんのご意見を伺いたく、投稿させて頂きました。