遴选面试通常需要考生到新的单位进行，主要是为了避免利益冲突和保证考试的公正性。以下是具体原因：
考察环节：
在遴选面试中，会有一个考察环节，可能会派人到你现在的单位与你的主要领导和同事进行谈话。如果单位不同意，后续的考察、审核等工作可能会带来麻烦，甚至无法通过，使你无法参加遴选。
避免人脉关系干扰：
在本地进行公务员单位面试可能会遇到许多人脉关系，这些关系可能会在考试过程中进行干预，影响考试的正常进行。选择异地考试可以避免这种情况的发生。
确保选拔公正：
通过在不同单位进行面试，可以降低因地域或单位内部关系而导致的选拔不公正现象，确保选拔过程的透明和公正。
希望这些信息能帮助你理解遴选面试中到新单位的原因