拆除违章建筑通常归 县级以上的地方人民政府的行政主管部门管，具体由住建部门和市政管理部门共同负责。
城乡规划主管部门：
依据《城乡规划法》，城乡规划主管部门负责作出责令停止建设或限期拆除的决定，并在当事人不停止建设或逾期不拆除的情况下，责成有关部门采取查封施工现场、强制拆除等措施。
土地行政主管部门：
违章建筑的认定由县级以上人民政府土地行政主管部门负责，现实情况中一般是由住建部门和市政管理部门负责。
其他相关部门：
对于妨碍公共安全和交通的违章建筑，区（县）人民政府会组织规划管理部门、公安部门等按特定程序予以拆除。
综上所述，拆除违章建筑的责任主体为县级以上的地方人民政府的行政主管部门，具体执行部门包括住建部门和市政管理部门，同时涉及其他相关部门的配合。