1997年3月的第一个星期一,苏雨桐抱来一只装满软盘的铁盒。
三所高校的小范围测试已经运行四个月,累计查询越过一万次。早先那一百零五张评分表还能逐页装订,如今仅打印查询文本就要几百张纸,更别说其中夹着拨号来源、点击时间和可能指向具体学生的内容。
她没有把铁盒交给兼职学生,先在马飞面前封掉原始日志的复制口。
苏雨桐提出把它们做成第一份真实基线。
“先去掉能识别人的东西。”她说。
日志里原本保存了拨号来源、访问时间、完整查询和点击记录。它们对复现问题有用,也可能暴露某个学生在查什么。
马飞同意只保留按日打乱后的查询文本、结果位置和是否打开来源页。原始拨号标识在生成统计后删除,问题工单需要回访的样本则单独征得报告人同意。
删除前,周成要求保留一份“以防以后有用”。苏雨桐让他具体写出用途和保存期限。他写了三行,又全部划掉——除了模糊的“也许”,没有一项是当前项目需要。
三个人守着数据转换完成。马飞核对记录数,苏雨桐抽查打乱结果,周成亲手执行删除。屏幕提示释放了十一兆空间,他盯着那个数字说:“原来不要的数据也会越攒越重。”
“硬盘满了会响,人被看透不会响。”苏雨桐把删除日志打印签字。
周成不理解:“我们自己保存,谁会看?”
“以后人多了,就不只我们看。”苏雨桐说,“规则要在数据不值钱的时候定。”
一万零四百三十七次查询被分成七类。
分类不是程序自动做的。前三百条由马飞和苏雨桐分别标,分歧最多的是“机构或人名”与“概念解释”。有人只输入“钱学森”,可能找人物,也可能找某篇文章作者。两人争到晚上,最后加上“无法判断”,不再强迫每条数据符合漂亮分类。
半地下室的墙不够贴,五金店老板借来两块货架背板。查询分布图挂上去以后,进门的人都得侧着走。老板看见“错别字与拼音”占了一栏,试着输入自己公司被写错的名字,系统竟然真找到了库存介绍。他第二天便把两个经常写错的货号整理给周成,要求客户系统也加上别名。
明确题名。
作者加主题。
只记得一句话。
概念解释。
机构或人名。
错别字与拼音。
无法判断。
结果很快推翻了他们的直觉。
演示时最常用的专业主题词,只占不到两成。更多人输入残缺题名、作者姓氏、年份,或者一句记得并不准确的话。拼音查询很少,却不是零。最长的一条查询有四十六个字,像用户把整段问题都塞进了输入框。
马飞曾以为,搜索的核心是把网页按重要性排好。
真实日志却告诉他,第一步常常是猜出用户到底在找什么。
苏雨桐把“复合材料疲劳”与xc-0002放到同一组,建立连续词、题名字段和作者字段的对照测试。她没有为每种查询单独写规则,而是先规定评价方法。
每条查询由两个人独立判断前十条结果。
完全相关记两分。
部分相关记一分。
无关记零分。
意见不一致时,保留分歧,不取平均掩盖。
“这会很慢。”马飞说。
“所以先抽五百条。”
“五百条代表不了一万次。”
“比你我各挑五十条更接近。”
两人从日志中按类别抽样。兼职学生不能看原排序,只看查询与来源内容。第一轮结果出来时,星辰搜索前十条平均得分只有十一点七分。
五百条花了九个人十二天。每晚六点,评分者到半地下室领一叠盲表和两个馒头;九点以前必须交回,不能带到宿舍,以免来源页和查询文本散出去。马飞负责烧水,苏雨桐处理争议,周成把结果录进不联网的机器。
第六天,一个兼职学生连续给出全是两分的表。苏雨桐抽查发现他只看标题,没有打开来源。学生以为分高能帮公司早点发布,马飞没有骂他,只把那天四十份全部作废,补付其他人重评费用。墙上的进度退回两天。
月底结算时,那名学生主动把当晚补贴退回来。苏雨桐没有收,只让他在评分规范上重签一次,第二轮继续参与。他后来提交的分歧记录反而是九个人里最细的。
最差的是人名和残缺题名。
最好的是明确专业术语。
还有一个意外:重复页面比他们估计的多。同一篇论文摘要被不同镜像目录收录,前十条里有时会出现四份几乎相同的内容。
“用户不是得到四个答案。”苏雨桐说,“是同一个答案挡住了另外三个。”
他们用内容指纹把镜像折叠以后,平均得分只涨了零点二,页面却腾出近两个结果位。那名寻找微小卫星资料的助教再次测试,原本被四份镜像挤到第十一的外文目录第一次进了前十。他没有发长邮件,只在工单里写:“现在看得见了。”
去重从优化项升为发布前要求。
马飞把一万次查询的分布贴到问题木板旁边。xc编号仍记录每一个具体缺陷,基线则告诉他们应该先修哪一类。
有报告,不等于普遍。
没有报告,也不等于没有问题。
季度末,星辰搜索0.4版没有新增醒目的功能。
陈维明原本准备在客户通讯里写“万次查询验证”,看完十一点七分后,把这句话改成“高校测试继续”。他不满意,却仍按合同提供第二台测试机的夜间机时。马飞把这项支持记进资源账,没有用一次分数下滑抹掉客户此前的承诺。
它只是让明确题名的正确结果更靠前,把重复页面合并显示,并开始识别少量拼音姓名。
前十条平均得分从十一点七升到十三点一。
涨幅不大。
却能复测。
马飞在版本记录里写下:
“从今天起,不再以最好的一次查询证明我们是谁。”
苏雨桐看完,把“证明我们是谁”改成“证明版本质量”,说软件没有“谁”,只有能复跑的记录。马飞接受修改,在旁边签了日期。
五百条盲评表装进四只档案盒。最后一只合盖时,外面已经天亮,五金店卷帘门哗啦一声拉起。老板把刚出锅的豆腐脑端下来,问十三点一到底算好还是坏。
“比十一点七好。”周成说。
“那就先吃饭。”老板把勺子一人一把分过去,“吃完再想剩下的六点九。”