よそのお宅にあがること

お隣さんとは おすそ分けの仲ですが 上がって上がって としつこいので 断り切れずにたまに上がってお茶します ビールがでることもあります ご主人が他界して１人暮らしでいつもキレイにされてます 私は子供がいて いつも隣みたいにピカピカではないので呼びたくないので 一度も上げてません これって マナー違反というか やはり私も上げなくてはいけませんか？ 上げる気がなければ 絶対断ったほうがいいですか？