违规违建的管理通常由县级以上地方人民政府负责，具体由以下部门负责处理：
1. 县级以上地方人民政府土地行政主管部门：主要负责查处涉及违法占地建设的行为。
2. 县级以上地方人民政府城乡规划主管部门：负责查处城市规划区内违反规划建设行为和非法临时建筑。
3. 乡、镇人民政府：在乡、村庄规划区内，对于未依法取得乡村建设规划许可证或未按照许可证规定进行建设的行为，有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
4. 工程所在地县级以上人民政府建设行政主管部门：住房和城乡建设局负责查处未依法办理施工许可手续进行建设的违法行为。
若您发现违规违建，可以向当地的城市建设管理监察支队、房屋土地管理局、国土资源局或规划局举报