封闭测试开始于1996年10月。
参与者二十一人，来自三所高校：研究生、图书管理员、实验室助教和两名网络中心管理员。每人提交五个真实问题，不要求使用标准关键词。
第一天，马飞骑车送出三只牛皮纸袋。里面是测试说明、回邮信封和编号表，唯独没有推荐关键词。苏雨桐坚持不去现场指导，免得测试者看他们脸色调整问法。
有位老图书管理员不会用鼠标，让值班学生替她输入，自己只负责判断结果。她的五个问题写在旧目录卡背面，字很工整，其中一个只记得“八十年代，有个外国人写卫星姿态，小蓝皮书”。系统对这种描述几乎无能为力。
一百零五次查询中，系统崩溃四次。
第一次崩溃发生在北航机房，测试者以为自己按错了键，连着重试三遍，制造了三份相同故障。马飞赶到时没先重启，而是让管理员把机器留在原样，给那名学生换一台继续。学生等了二十分钟，仍把剩余四个问题做完，临走在表上写：崩了以后最好告诉我该不该再按。
星辰随后增加错误页：显示故障编号、是否需要重试和反馈地址。这个页面不提高任何相关率，却在后两次故障里阻止了重复请求继续挤压服务器。
首条结果被多数测试者判定相关的有五十八次。
完全没有可用结果的有二十七次。
最糟糕的一次查询是“哪里能找到微小卫星姿态控制的国外资料”。系统把“微小”切成两个单字，又把“姿态”与个人主页里的“生活姿态”匹配，第一页几乎全是无关内容。
另一类问题来自重复页面。同一份论文目录被多个站点镜像后，占据前十条中的七条。用户以为结果很多，实际上只有一份信息。
陈维明看完数据：“六成能用，已经可以宣传。”
苏雨桐摇头：“测试者知道这是实验，会主动换词。普通用户第一次找不到就走了。”
马飞没有站在任何一边。
他把梁经理那套客户系统的验收表放在旁边。企业客户能为明确字段付钱，陌生用户却不会因为公司缺现金就降低要求。陈维明愿意先用“六成”吸引关注，并不算恶意；问题是宣传出去以后，剩下四成的失败也会被当成承诺的一部分。
“可以对外说正在测试，也可以公布原始统计。”马飞说，“不能只截五十八。”
陈维明问：“七十一以后呢？”
“一样报完整。”
他把一百零五次查询按失败原因贴满墙：语料缺失、切分错误、编码错误、重复聚集、排序偏差、系统故障。
最大的类别不是算法，而是语料缺失。
1996年的中文网页本来就少。搜索系统不可能返回网络上不存在的内容。
“要区分‘系统没找到’和‘网络上没有’。”他说。
团队新增“来源覆盖”记录：对重要公开目录建立已知清单，定期检查是否抓取；对缺失内容不伪造结果，而是提供可能的图书馆、数据库或站点入口。
重复问题则用内容指纹聚类。同一正文只展示一个主结果，其余镜像折叠为来源列表。
切分错误由苏雨桐主导。她没有无限扩大词典，而是允许查询端保留多种切分候选，再用文档命中情况选择。这样会增加计算量，却比一次错误切分后全盘丢失更稳健。
新版本完成后，他们没有删除旧结果。
同一百零五次查询重新执行。
系统崩溃降为一次，首条相关提高到七十一，完全无可用结果降至十八。响应时间却从平均一点九秒升到三点一秒。
重跑那天，三所学校的原始表全部封在信封里，由网络中心管理员随机拆序。苏雨桐没有参与评分，只处理事先写明的争议项。结果出来后，那个寻找“小蓝皮书”的问题仍然失败；微小卫星姿态控制的国外资料却从第一页无关，升到了首条可用目录。
提出它的实验室助教在反馈栏写了一句：这回能用。没有夸算法，也没问是谁改的。马飞把那四个字剪下复印件，贴在重复聚类模块旁边。
“不能只报准确率。”苏雨桐在报告上补入延迟变化。
马飞又增加了一项：最慢查询十一点四秒。
陈维明看着那张并不漂亮的成绩单：“你们发布产品，都这么主动写缺点？”
“不写，缺点也在。”马飞说。
测试结束前，一名图书管理员提出了最关键的意见。
“结果为什么排成这样，我看不懂。”
系统内部有词频、标题命中和链接权重，但用户只看到一列地址。马飞原本认为排序解释会让界面变复杂。测试者却需要判断结果值不值得点开。
他们为每条结果加入来源、更新时间和包含查询词的正文片段。若页面来自镜像，明确显示主来源；若编码置信度低，给出警告。
最后一轮测试不再追求一个总分。
星辰建立了第一套质量基线：
崩溃率低于百分之一。
一百组固定查询中，首条相关不少于七十组。
任何来源类别不得因整体优化显着退步。
平均响应低于四秒，最慢查询必须有单独记录。
失败结果保留，不以修改测试集的方式提高成绩。
墙上的一百零五张纸最终装进两个档案盒。
盒盖标着：xq-002，1996年秋季封闭测试。
封盒时已过夜里十二点。苏雨桐逐页数到一百零五，发现少了第八十二张。两个人翻遍桌下，最后在折叠床褥子底下找到，纸角被压出一道折痕。马飞想重印，苏雨桐说原始评分表就该留着折痕，只在清单里注明保存状态。
陈维明送来的两瓶汽水已经跑光了气。三个人拿搪瓷杯分着喝，顺便定下下一轮校园开放的故障值班表。那位老图书管理员的“小蓝皮书”仍列在十八项无结果里，旁边写着待查的馆藏入口。
马飞合上第二只档案盒，用棉线绕了两圈。盒子不厚，正好塞进铁柜最下层。