【長文です】義父との今後の関係性に悩んでます

はじめまして 結婚1年目、子どもが0歳の3人家族です。 両家にとって初孫です。 主人の両親はとても子どもをかわいがってくれてますが、その義父が孫に会いによく家にきます。 会いに来てくれることは、構わないのですが頻度が多く困っています。 また、以下のことがあり、義父が嫌いになりそうです…。 ■主人と義父は、仲がいいわけでなく義父の話をほとんど聞きません。おしゃべりな義父は私に質問ばかりしてきて正直疲れます。 ■午前中に来るのですが、お昼は義父と一緒に外食になります。しかし、お金がないということで毎回私たちが奢ります。 それに加えて、家にお邪魔しにくるのに手土産を持ってきたことがありません。 ■以前、義父から『孫の為に働いてる』宣言をされました。ですが、孫の為に何かを買ってもらった試しがありません。 ■孫のほっぺにチューをするのが気になります。 ■家で寛ぐのですが、クッションを枕にして孫を抱えて横になります。私は寛ぐ場所がなく仕方なく家事をしてます…。 ■（嫌いになりそうな1番のポイントです。） 私は、妊娠中数ヶ月入院していたのですが、義父に『2人目はもういいね』発言されました。義父的には私の身体を気遣って言ってくれたのだと思いますが、私はすごく傷つきました。私は義父の為に子どもを作ったわけではありません。頭にきて『2人目も欲しい』事を言うと、『いや、次男に期待するからいいよ』と…。 しかも、この2人目いらない発言を入院中と退院後2回言われました。さらには、男の子を産んだから立派だと…。では、女の子だったらどうだったのでしょうか？ このような事があり、正直孫にも触ってほしくないし会うなら行事だけの時にしたいです。 ですが、距離的に1時間くらいでこれる距離です。 今後、どう義父と付き合って行くのがいいのでしょうか？我慢するしかありませんか？