朱常洛当然看出了诸位辅臣们的疑虑，朱常洛于是说道：“今日只有你我君臣，不必遮掩，出的卿口，入得朕耳，无外人知也。”
朱常洛同时遣退了无逸殿中的内侍，吴道南首先说道：“陛下可还记得于慎行？”
于慎行是万历朝的礼部尚书，阁臣，朱常洛当然是知晓的。
吴道南说道：“于阁老曾有一诗，中有一句，可以管窥此中之弊也，山人有山归亦得，慎莫出走越与胡，此不得不为虑也。前代之张元等人，深以为鉴也。”
朱常洛当然明白吴道南的意思，这些山人云集边镇，要是在边镇得不到想要的，转头就投奔北虏，为其出谋划策，那才是对于大明朝廷来说最要命的事情。
尤其是前朝的张元，更是被大明引以为戒，他本是永兴军路华州华阴县人，因为屡试不第，自视才能难以施展，遂决心叛宋投夏，使得李元昊做大，给北宋造成了极大的麻烦。
后来在好水川之战中张元辅助元昊大败任福等人率领的宋军，宋军仅阵亡就高达一万多人，望着好水川内遍布的宋军尸体，张元趾高气昂地在界上寺墙壁上题诗一首：“夏竦何曾耸，韩琦未足奇。满川龙虎辇，犹自说兵机。”
后来官至国相。其素怀功名，以灭宋为志，力劝元昊扩大对宋战争，攻取陕西关中之地，进而东向中原，同时联络契丹，让其攻打河北诸路，让宋朝受到两面夹击，势必陷入困境乃至崩溃。
张元一直煽动西夏对北宋用兵，扩大战事规模，张元建议元昊出兵渭州，待机取长安。元昊采纳了他的意见，策划了定川寨之战，元昊那句“朕当亲临渭水，直据长安”的豪气干云的檄文，也出自张元的手笔。
张元常劝说元昊：攻取汉地，令汉人守之，这样才能扩大疆域，财用充足。使得北宋极为头疼，所以北宋后来出现了特奏名进士这种东西，就是为了笼络住这些生员，而大明的这些边镇大将和督抚们，也有出于这种想法的目的，毕竟北虏的力量可比西夏大多了。
而且本朝历史上也是出现过这种罕见的，嘉靖朝的雁北地区白莲教首领赵全，嘉靖年间依附蒙古俺答部，长期参与边境侵扰活动，被朝廷视为重大威胁。
赵全等人为俺答建起九重宫殿，拥立俺答为帝，而他们称王，也建起了规模不小的土堡，当时赵全有人口万众，周延数十里，马匹五万，牛三万头，谷二万斛。在这些人等的串通怂恿之下，蒙明关系更加紧张，和解更是无望。
赵全挑唆蒙人入境，劫掠口内青壮年劳力，并为之出谋划策，提供各种情报，制造利兵坚甲、云梯冲竿等作战武器，提供各种战术建议，据说，每有战事，俺答甚至亲往赵全家商议。正是因为如此，俺答汗才能够对于大明九边军镇构成严重威胁。
朱常洛听了之后说道：“朝廷安得有如此多的钱粮养他们，这不是治本之策。”
朱常洛当然清楚这些汉奸的威胁，但是朝廷总不能因为这些汉奸，就是把这些山人都给养起来吧？何况山人们也不傻，他们之所以前赴后继的往九边军镇中来，不就是因为这里有钱搞的，你以为他们心里没有数？
方从哲还补充道：“陛下，除此之外，九边将吏抛却本分职业，工于养客喜事，滥结有等流棍，迎机逞奸，托名清客山人、星术俳优，闯关出口，假刺赝牍。或敷演利害，或簧鼓是非，或谗言殄行，或疑似乱真。不才官员自揣百孔千疮，畏其舌锋腹剑，亦为之所挟制也。”
这点确实是极为重要的事情，这些山人不仅仅是在九边军镇混钱粮、混官职，更加重要的就是充当政治掮客，搞各种政治勾兑，山人们接触权要而又游走各处，因此是各种“小道消息”的传播者，也是各种是非的制造者，对于本分的地方督抚而言，最好对其敬而远之。
最典型的就是黄克瓒了，在担任山东巡抚的时候，黄克瓒便委婉谢绝了顾姓山人的来访，其称：“再辱佳咏，愧未能酬，不佞持节内地，与塞上不同，未免为俗套所拘，必欲相过，当分十日廪相饷耳”，宁愿奉送薄酬也要摆脱山人的纠缠。
而且这些山人们还干预朝廷的大事，叶向高对于此事是很有印象的，万历四十一年，蒙古右翼诸部由于内部纷争，顺义王袭封出现僵局，宣大总督涂宗浚希望早日完局，但却担心“所属罢闲武弁与京中山人私相结约，传播流言，则浮议横生，而虏之要挟必甚”，对于将官与山人的结合、造成“款贡”局面变动是颇为忌惮的。
为此，涂宗浚还专门给时任内阁首辅叶向高写信求教，但是叶向高也没有任何办法，他的的回信也仅是令其不可妄动，静待虏来，并且称如此行事，“彼废弁何所售其谋，游客何所鼓其舌哉？”
方从哲、叶向高都是被山人折磨的欲仙欲死的人，对于这些山人也是最痛恨的，但是他们也很清楚，处理此事，不是朝廷一纸诏书就可以达到的，要是诏书有用，万历朝不知下了多少上谕，但是依旧没有改变情况。
方从哲说道：“陛下，要制山人，须得软硬兼施方可。”
朱常洛问道：“元辅说说，应该怎么样软硬兼施。”
方从哲赶紧说道：“一则断其边镇谋食之路，严格考成，加强巡视，凡有山人，令巡按御史加以缉捕，且九边军官提拔，送京师考选阅视，不得边镇自专。”
首先自然是要断绝他们在边镇的路子，从钱和权两个方面来进行，尤其是官职，不分文武，要上收朝廷，凡是千户以上的升迁，都要到兵部和五军都督府加以考核，对于记功，也要严格考核，将其中的冒滥之辈予以剔除，同时举荐将才要承担责任，防止胡乱举荐。