“中国最大的中文网页索引。”
这句话印在《计算机世界》一块不大的广告上。
报纸是五金店老板早上买的,翻到这一页时正垫着油条。周成看见广告,把报纸从饭盒底下抽出来,右上角已经洇出一圈油。他拿袖口擦了两下,十万两个字反而更亮。
产品叫“华夏寻文”。
广告声称收录十万网页,支持自然语言提问,查询结果在一秒内返回。
周成把报纸拍在桌上:“十万?我们才两万多。”
“先试。”苏雨桐说。
他们用星辰的一万次查询基线抽出五十条,分别在两个系统上运行。
测试不能自动批量做。华夏寻文只开放网页入口,三个人轮流输入,记录时间、重复和死链接。为避免熟悉星辰的人偏心,苏雨桐请高老师找两名没参与开发的学生判断结果,系统名称用纸条遮住。
第一轮,学生把华夏寻文的界面分打得更高。星辰的来源日期和编码警告挤在一起,看起来像一张维修单。周成不服,自己坐到陌生机器前试了一遍,也花了十几秒才找到下一页按钮。
华夏寻文确实快。
首页也更漂亮。
它把新闻、软件下载和热门站点放在醒目位置,第一次使用的人很容易理解。
专业资料的表现却不稳定。
有些查询比星辰好,尤其是热门新闻和网站名称。
有些结果充满重复页面,来源日期缺失。
还有几条指向已经不存在的地址。
“发对比稿。”周成说,“把结果列出来,他们的十万有多少重复,一看就知道。”
马飞没有同意。
“五十条是我们抽的。”
“从真实基线抽的。”
“基线也是按我们的用户分布形成。它能指导我们,不能自动证明我们代表所有人。”
苏雨桐补充:“而且他们在热门网站上确实更好。”
五十条里,华夏寻文赢了十七条,星辰赢了二十一条,另有十二条无法明确区分。若只挑技术资料,星辰领先;换成新闻和网站名称,结果便反过来。周成准备的稿子只列了前一种。
他沉默了一会儿,把稿纸揉成团。苏雨桐捡起来展平,夹进测试记录:“别扔。以后看见它,才知道我们差点发过什么。”
这句话让桌边安静下来。
竞争者不是来证明星辰正确的道具。
如果华夏寻文更擅长普通用户第一次寻找网站,星辰就必须承认自己的测试范围偏向高校和技术资料。
马飞给对方写了一封邮件,说明星辰正在做中文检索测试,希望交换公开评价口径。
三天后收到回复。
对方创始人顾海峰没有提供测试集,只邀请马飞参加一个互联网产品交流会。
会场在宾馆二层,来了十几家公司。
入场费二十元,包一顿盒饭。马飞骑车到宾馆,把车锁在后门,西装是向陈维明借的,袖子长了一截。顾海峰穿件普通夹克,正在门口亲自搬宣传册,看见他胸牌上的星辰,先递过来一份产品说明。
“你们的来源日期做得不错。”顾海峰说,“页面看着太累。”
“你们的热门站点找得快。”马飞回答,“重复多。”
两人都没等上台便先把缺点说完,旁边负责签到的人听得直笑。
顾海峰三十多岁,做过软件销售。他没有否认十万网页里存在重复。
“用户不关心你怎么数。”他说,“用户只关心有没有东西。”
“重复结果会占掉其他答案的位置。”
“那是排序问题,不是规模宣传问题。”
“宣传规模时就是统计问题。”
两人没有吵起来。
他们只是使用了不同的成功定义。
顾海峰认为先占领认知,再逐步修正产品,是互联网公司的生存方式。
马飞认为如果最初的认知靠无法复核的数字建立,后面每一次修正都会被增长压力反过来绑住。
交流会结束前,主持人让两家公司各说一个公开指标。
顾海峰报出收录页面数。
轮到马飞时,他没有报两万七千。
“星辰目前在五百条人工判定样本中,前十结果平均相关得分十三点八。测试规则和抽样方法可以提供给参与高校复核。”
台下没有掌声。
坐在最后一排的图书馆员却举手要了一份评分方法。散会后,他追到楼梯口,问五百条样本能否加入文史查询。马飞把高老师的联系地址写给他,没有把这次询问包装成合作。
顾海峰也走过来,说愿意互换二十条公开查询,不交换用户日志。两人约好只用无法识别个人的题目,各自保留独立评分。竞争没有因此消失,至少下一次不必只在自家试卷上比成绩。
这个数字远不如十万响亮。
第二天的行业简讯只用了两行介绍星辰。
华夏寻文则占了半版。
周成很沮丧。
马飞把简讯贴到墙上:“这就是选择的成本。”
“别人会以为我们小很多。”
“我们本来就小很多。”
当天下午,华夏寻文寄来二十条查询。第七条“北京哪里能看当天证券行情”,星辰几乎没有可用结果;第十三条技术资料查询则由星辰领先。周成照约定把两边结果全部记下,没有再只截获胜页面。
五金店老板看不懂评分,指着报纸问十万到底是真是假。马飞说用不同口径会有不同数字,老板哼了一声,把那张油报纸从墙上揭下来,换成两家公司交换查询的传真。
“这个至少有人签字。”他说。