在协商不成的情况下，你要首先到房产管理部门要求对他的改建行为给自己房屋带来的损坏程度进行认定，拿房产管理部门所出具的认定书要求行政执法部门对其进行责令整改。给自己造成损失的直接向当地人民法院起诉。。。。
