平日の昼間、電車の中は空席もちらほらある空き具合でした。
私は20代で0歳の子どもを抱っこ紐で抱え、トートバッグ1つを膝に置き、紙袋を足の間の床に置いてました。

そうしてしばらくすると、ある駅で20-30代の男女が乗ってきて中を見回して、女性が私の左隣に座り男性がその前に立ちました。
女性が男性に猫撫で声で「あっちの席が空いてるから座って」「座ってー」などと何度も言っており、男性は「大丈夫」「ここにいる」と言って立ったままでいました。
私の右隣は空いていましたが子連れで荷物もあったためずれることなくそのまま乗っていました。
猫撫で声なことや男性も空いてる席に座らないことから浅い関係のカップルなのかなと考えたりしてました。
男女は会話しつつ押し問答を間に挟みながら5分ほど経った後、唐突に女性に、「横にずれてもらえませんか？」と言われました。
正直びっくりしてしまい、この子連れで荷物もある私にずれるように言うの？と思い、「荷物も多いので反対の方(女性の左隣)に頼んでもらえますか」と答えました。
すると舌打ちして猫撫で声で「ずれてもらえなかったー」と立っている男性の方を見てました。
「そういう人もいるんだね」「ずれるだけなのにね」等いい続け、男性も「そうだね、うんうん」等肯定する無難な返事をしてました。
その後女性は左隣の人に声をかけることなく私が先に降りました。

こういうのは善意なのだから譲る義務はないし、何を言われてもうるさいなくらいにしか思っていなかったのですが、その後もなんとなくもやもやしてます。
私は譲るべきだったのでしょうか？
みなさんの意見を聞きたいです。