家里搬迁，共6间，我是养子。6间房子是连在一起的，3间是叔叔家孩的。3间是养父给我的有字据。养父去世后，我去其他村居住生活户口也迁走了。原家里的房子就20多年没住了 也就荒废了。后来搬迁叔叔家的小孩以我没改养父这20多年没上坟。为由把房子据为己有。我该怎么办