Deprecated: Function get_magic_quotes_gpc() is deprecated in /www/wwwroot/jieqi/global.php on line 250
太空争霸之我来自未来- 第72章 盲测-都市言情-17模板网
第72章 盲测
    苏雨桐把答案锁进铁皮柜的那天,实验室暖气坏了。

    窗缝里灌进来的风把打印纸吹得一角一角翘起。她戴着露指手套,在三只牛皮纸袋上分别写下“训练”“调试”和“最终评估”,又把装有最终标签的软盘放进最里面那只袋子,用浆糊封口,在骑缝处签上名字和日期。

    陈维明站在门口,手里捧着一杯刚冲的豆浆:“这么郑重,不知道的还以为里面是工资。”

    “比这月工资贵。”苏雨桐说,“要是谁先看了答案,三个月的实验都得重来。”

    研究小组刚从支付与搜索两边收集到一批经过授权、脱敏和人工复核的异常样本。所谓异常并不都是坏人。有老人重复点了两次确认,有商户把同一天的进货拆成十几笔,也有人从外地出差,电话区号和常用地址对不上。真正需要拦下的,只占很小一部分。

    产品组很想尽快把这些样本变成一道“聪明的门”。马飞却同意苏雨桐先做盲测:建模型的人只能看训练集,调参数的人只能看调试集,最终评估样本由不参与开发的人保管。在正式揭晓前,任何人都不能根据最终答案修改规则。

    负责保管的人叫乔岚,是大学实验室派来协作的助理研究员。她二十四岁,骑一辆车铃不响的旧凤凰自行车,每天从学校宿舍穿过两条结冰的小路来星辰。她第一次进公司时,前台以为她是来应聘文员的,因为她怀里抱着搪瓷饭盒和一摞用棉线缝起来的记录本。

    苏雨桐问她为什么不用订书钉。

    “拆过会留痕。”乔岚说,“老师以前把我的实验页弄乱,我就养成这个习惯了。”

    她不负责设计模型,只负责抽样、编号、保管答案和主持最后评估。这个位置看似离“智能”最远,却拥有叫停所有人的权力。

    第一轮讨论很快暴露出分歧。

    支付产品的一名同事提议把用户在搜索框里查过什么也加入判断:“搜过‘退货’‘银行卡’‘套现’,总能说明点问题。数据都在我们公司,拿过来又不用花钱。”

    苏雨桐把铅笔横放在本子上:“搜索数据和支付研究的授权是分开的。”

    “可以只看关键词,不看姓名。”

    “把时间、地点、商户和查询组合起来,人很容易重新被认出来。更重要的是,他来搜索一个词,不等于同意我们拿它决定一笔钱能不能付。”

    对方不服:“不用这些,模型怎么赢?”

    “先问该不该用,再问能不能赢。”

    最终样本只保留支付流程本身允许使用的信息:金额、授权方式、账户状态、近期失败次数、商户类型,以及人工争议留下的有限事实。姓名、完整卡号、搜索内容全部不进入研究环境。林海另做了一份导出程序,每次导出都生成清单,由两人签字,研究机器不能反向连接账务服务器。

    这些限制让样本变得不那么“漂亮”。许多记录只有空白,有些字段由银行批次延迟一天才补齐。年轻工程师抱怨像蒙着眼走路,苏雨桐说盲测本来就不是为了让人走得舒服。

    她给团队定下最简单的比较办法:先做一套人人看得懂的规则基线,再做统计评分。结果不只看命中了多少异常,还要看错拦了多少正常付款,以及漏掉的事情后来给用户造成什么后果。把一位赶着付住院押金的人误拦,和让一笔可以次日复核的订货款多等十分钟,不应只算成两个相同的“错误”。

    马飞听完,提醒她不要预设未来答案:“你以前说过,我脑子里的经验不能代替这一年的证据。你的判断也一样。”

    “所以答案在柜子里。”苏雨桐看了他一眼,“也包括我不喜欢的答案。”

    研究持续了六周。

    白天,苏雨桐仍要处理搜索业务。春运前,许多人开始查车次和地图,搜索服务器负载上升。她上午和林海排查分词程序,下午到大学实验室看模型,晚上回到出租屋才整理盲测记录。两个人的住处添了一床苏母寄来的新棉被,花面是俗气的大红牡丹,厚得把柜门都挡住一半。

    马飞第一次套被罩,把被芯塞成一团。苏雨桐从桌边抬头,发现他正试图用工程图一样的办法把四个角编号,忍不住笑了。

    他们一人抓住两个角,把被子在狭小客厅里抖开。风带着棉絮飞到苏雨桐的头发上,桌上的评估表被压在茶缸下面。那晚她没有再去公司,只在家把缺失字段的处理原则写完,十点钟准时关灯。

    第二天,乔岚却迟到了。

    她的自行车链条在桥上断了,裤脚沾满黑油。她走进实验室先检查铁皮柜上的封条,又去水房用肥皂搓手。有人催她赶紧把前一日抽取的样本交出来,她摇头,说手上油污会弄脏原始记录,必须等晾干后戴手套。

    “电脑里的数据又不会脏。”那人说。

    “电脑里的版本从纸上复核。”乔岚回答,“纸错了,电脑会把错放大得很整齐。”

    午饭时,她打开搪瓷饭盒,里面是冷米饭和一块豆腐乳。苏雨桐把自己从食堂带回来的白菜分给她,问协作补贴有没有按时发。乔岚说学校手续还差一个章,房东却不会等章,月底以前若拿不到,她就得把自行车卖了。

    苏雨桐当天下午找财务核对。星辰不能替学校发工资,但可以按协议先结已经验收的工作部分。两天后,乔岚拿到第一笔协作费,没有换新车,只花三块钱修好链条,剩下的寄回了县城。她母亲来信说弟弟要买复习资料,信纸背面还写着一份腌雪菜的方法。

    苏雨桐把这件小事记进项目复盘:独立评估不是找一个清高的人守柜子,还要让守柜子的人不必为了房租接受开发组的人情。预算、职责和生活条件都可能影响所谓客观。

    第一次中期演练时,开发组犯了一个很常见的错误。

    他们没有偷看最终标签,却反复询问乔岚“这批结果大概好不好”。乔岚起初只说不知道,后来干脆在桌上摆了一只空茶缸。谁再试探一次,就往里面放一枚硬币,作为全组的晚饭基金。三天后,茶缸里有一块八毛。

    陈维明路过,以为是募捐,塞进去五块钱。弄清用途后,他把钱拿回来,又问:“那我能不能只知道通过率?”

    乔岚指了指茶缸。

    陈维明叹气,放回五块:“算我替市场部交学费。”

    真正的盲测安排在三月的一个星期六。公司会议室清空,开发组把程序和参数刻在只读光盘上,林海计算校验值并封存。乔岚当众检查牛皮纸袋的签名,剪开棉线,取出最终样本。测试机器拔掉网络线,输入文件只读,输出直接打印。苏雨桐坐在最后一排,没有碰键盘。

    打印机走纸很慢,齿轮每转一下都发出细碎的咔哒声。大家盯着那条不断伸长的纸,像在等医院化验单。

    第一个结果出来,命中率比训练时低。第二项更难看:正常交易误报接近训练结果的两倍。开发工程师立刻说最终样本可能抽偏了,要求先看几个案例再决定是否重跑。

    “先按预先写好的流程算完。”苏雨桐说。

    “明明有问题,为什么不能修?”

    “可以修。揭晓以后它叫下一版,不能倒回去假装这一版从没失败。”

    下午四点,所有数字写上白板。复杂评分确实捕捉到几种旧规则看不到的组合,但也把一批月底集中进货的正常商户判成高风险。它在训练集里学到的,不完全是欺诈模式,还有那几个月里样本怎样被人工挑选出来的习惯。

    没有人鼓掌。

    苏雨桐却把报告封面上的“内部试验”改成“盲测基线一号”,要求原始输出、代码版本、失败案例和现场签名一并归档。陈维明问这份难看的报告能不能别给董事会看,等改好再报。

    “董事会给了独立预算,就应当看见预算买到了什么。”她说,“失败不是没产出。把失败藏起来,才是什么都没买到。”

    夜里散会,食堂早关门了。大家用茶缸里的钱买了两袋热包子,五块钱贡献者陈维明坚持多拿一个。乔岚把剩下的包子包进报纸,准备带回宿舍给室友。她去取自行车时,发现车座上落了一层薄霜。

    苏雨桐和她一起推车走到路口。乔岚问:“结果这么差,研究线会不会被砍?”

    “也许有人会提。”

    “那你为什么看起来不太难过?”

    苏雨桐停下来,把围巾往上拉了拉:“因为今天以前,我们只有一种自己觉得很聪明的方法。今天以后,我们有一把不讨好任何人的尺子。”

    路口的红灯很久。自行车、公交车和卖夜宵的三轮车挤在白线后,热气从包子袋里一点点冒出来。苏雨桐想到实验室铁皮柜里那些被封住的答案,也想到罗师傅为六十八元多跑的两个钟头。

    所谓智能,如果只在开发者知道答案时表现聪明,只在用户按预想方式生活时保持准确,那就不是能够托付事情的能力。

    灯转绿后,乔岚跨上那辆修过链条的凤凰车。车铃仍然不响,她抬手朝苏雨桐挥了一下,汇入夜班下班的人流。

    苏雨桐没有急着回公司改模型。

    她先去街角公用电话亭给母亲打了个电话,说棉被收到了,很暖,花也没有想象中那么难看。然后买了两个烤红薯,一个给马飞,一个留给自己。

    盲测的答案已经揭开,真正困难的工作才刚开始。