行政复议应该向作出具体行政行为的行政机关的上一级地方人民政府或上一级主管部门申请。具体来说：
1. 对于市县级以上地方各级人民政府工作部门的具体行政行为，可以选择向该部门的本级人民政府申请行政复议，或者向上一级主管部门申请行政复议。
2. 如果涉及海关、金融、国税、外汇管理等实行垂直领导的行政机关和国家安全机关的具体行政行为，应向其上一级主管部门申请行政复议。
3. 对于县级以上地方人民政府依法设立的派出机关的具体行政行为不服，可向设立该派出机关的人民政府申请行政复议。
4. 对于政府工作部门依法设立的派出机构依照法律、法规或者规章规定作出的具体行政行为不服，可向设立该派出机构的部门或者该部门的本级地方人民政府申请行政复议。
5. 对于法律、法规授权的组织的具体行政行为不服，可向直接管理该组织的地方人民政府、地方人民政府工作部门或者国务院部门申请行政复议。
6. 对于两个或者两个以上行政机关以共同的名义作出的具体行政行为不服，可向共同上一级行政机关申请行政复议。
7. 对于被撤销的行政机关在撤销前所作出的具体行政行为不服，可向继续行使其职权的行政机关的上一级行政机关申请行政复议。
请根据具体情况选择适当的行政复议机关