三月中旬的一个周五晚上,林晨正坐在书房里做投资系统的周度复盘。
双显示器左边是投资面板,右边是这周FinGpt v2的训练日志。他刚把A股子策略的信号看了一半,右下角弹出陈铭的微信消息。
FinGpt v2评测结果出来了。金融场景超通用模型34%。
林晨的手停在了键盘上。
他盯着那行字看了大概五秒钟,然后把投资面板最小化了,点开陈铭发来的评测报告pdF。
报告第一页就是一张大表格。八个金融子任务,每个任务一个对比分数:
金融问答:超过通用模型35% 研报摘要:超过通用模型42% 风险提示:超过通用模型28% 市场分析:超过通用模型31% 财报解读:超过通用模型38% 合规检查:超过通用模型26% 投资建议:超过通用模型30% 情感分析:超过通用模型27%
综合领先:34%。
他一条一条地往下看,看完最后一行数字之后停住了。34%——超过了30%的目标线四个点。42%的研报摘要单项领先,意味着模型在理解和概括金融文本方面的能力已经远远甩开了通用模型。
他打开陈铭的微信对话框,打字:数据二次清洗的改进了什么?把优化方案详细写给我。
陈铭秒回:好!我今晚写。主要是三个方面——删掉了所有没有来源标注的研报摘要数据,统一了风险等级的判定规则,增加了5000条金融问答的难样本。
林晨放下手机,靠在椅子靠背上。
他想起两个多月前的那次会议。二十个人坐在会议室里,他在白板上写下30%的目标,台下有人在笔记本上记,有人在心里犯嘀咕。陈铭问他如果达不到怎么办,他说那就继续调。
现在34%的数字就放在面前——不是运气,是他的团队两个多月的积累。数据组刘明重新设计的标注标准、陈铭反复调整的LoRA参数、张雨构建的专业评测集——三个环节的成果汇在了一起。
不是兴奋,是一种安静的确认。确认数据质量优先的策略是对的,确认团队执行力是够的,确认自己从投资系统里带过来的方法论的适用性。
他在心里把34%翻译成了商业语言:这个领先幅度意味着金融客户切换大模型的收益足够明显了。一个客户之前用通用模型做金融问答,正确率一般;切换到FinGpt后正确率直接提升三分之一以上——这种差异不是说服客户换模型,是让客户主动来找你。
第二天上午十点,他召集了一个紧急会议。
会议室里的气氛跟两个多月前不一样了。两个多月前第一次开会的时候,有人在椅子上靠着墙站着,气氛里有一种我们要做一件不确定能不能做成的事的紧张感。今天没有人靠着墙——提前五分钟人都到了,椅子够坐,桌上放着打开的笔记本电脑和几张打印好的评测报告。
林晨站在白板前,把马克笔盖摘下来,写了一个数字:34%。
这个数字大家都看到了。他转过身,手撑在桌沿上,眼神扫了一圈。FinGpt v2在金融场景下超越通用模型34%,超过目标线30%。这个数字说明三件事。
他在34%下面写了第一个词:方向。
第一,方向是对的。用高质量精选数据做微调的效果,远超用大量杂音数据做微调。我们在数据上花的每一分钟都是值得的。
第二个词:团队。
第二,团队是能打的。从数据清洗到模型训练到评测构建,每个组的执行力都超过了我最初的要求。评测组的金融评测集被金融部的人拿去当成内部培训素材了——这说明我们的评测标准不仅合理,而且比行业默认的标准更专业。
第三个词:机会。
第三,窗口期还在。通用模型在金融场景下的表现仍然不行——通用模型能看懂文字,但看不懂金融。这个认知鸿沟就是我们的机会窗口。
他停下来,喝了一口水。
但34%不是终点。我们的下一个目标是40%以上。两个方向——金融问答和风险提示,这两块的提升空间还很大。张雨,你牵头做这两块的专项数据优化。陈铭,你试试把LoRA的rank从32提到64,看效果变化。
如果rank翻倍但收益递减怎么办?陈铭问。
那就不加。只做有效的改动,不为了加而加。
会后,林晨给陈博士发了一条微信:FinGpt v2结果出来了。金融场景超通用模型34%,超过目标。建议尽快启动商业化讨论。
陈博士回了一个字:
他走到陈博士的办公室,手里拿着打印好的评测报告。陈博士从头到尾翻了一遍,在研报摘要:42%那行停了一下。
这个数字是真实的?
真实的。评测集由张雨独立构建,没有在训练数据中泄露。
陈博士把报告放在桌上,双手交叉。商业化方案你想好了吗?
金融部门已经等了很久了。他们现在的金融问答系统是基于旧的bERt模型,效果早就碰到了天花板。如果切换到FinGpt,金融问答的准确率会提升超过三分之一。我的建议是先对接金融部门的智能客服系统,做三个月试点,拿到真实效果数据后再考虑外部商业化。
时间线呢?
四月份完成金融部门的系统对接,五月份上线试点,六月份开始评估效果。
陈博士点了点头。你回去写方案。写完发我。
回到工位的路上,林晨穿过走廊的时候看了一眼窗外。鹏城三月,春天刚开始。路边的榕树抽了新芽,嫩绿色的,在灰色的写字楼群之间显得格外鲜活。
白板上那个34%的数字还在会议室里。他没擦掉。
留给团队看的。
34%的结果在公司内部传得很快。
先是金融部的李总发了一封邮件,抄送了陈博士和cto。邮件标题就两个字:牛逼。正文也只比标题多几个字:FinGpt v2在金融问答上的准确率测试结果出来了,效果远超预期,建议尽快推进商业化对接。李总是做金融出身的,平时说话保守,邮件里用两个字已经是他表达能力的极限。
然后是AI应用中心以前的同事。李婷发了一条微信:看到群里发的FinGpt评测报告了。你们大模型部门才成立三个月,就把我们应用中心两年的成果超了。后面跟了一个哭笑不得的表情。林晨回了一句:不是超了,是站在你们的肩膀上了——之前应用中心积累的金融语料和评测经验,FinGpt用了不少。
赵工也发了消息。这位在应用中心时就常跟林晨唱反调的老工程师,消息只有一行字:你当初说不能观望的时候,我心里觉得你太激进了。现在看评测报告,你是对的。佩服。
林晨看着这条消息,心里有一种说不上来的感觉。赵工不是一个轻易说你对了的人。在应用中心那两年的各种会议上,两个人对技术路线的辩论不下几十次。现在他主动说,这份认可比任何数字都重。
他回了一句:赵工,不是我对了,是我们方向对了。应用中心打下的基础,FinGpt踩了不少。接下来如果有合作的机会,随时找我。
赵工回了一个握手的表情。
商业化推进的第一次正式会议在陈博士办公室。金融部的李总带了两个业务负责人,AI部门的陈博士和林晨。六个人围着一张圆桌。
李总开门见山:FinGpt能不能先接入智能客服系统?我们现在用的模型是两年前部署的bERt-based系统,金融问答准确率长期徘徊在六成出头。客户投诉量每月都在涨。
技术上没有问题。林晨说,FinGpt的ApI已经在内部测试环境跑通了。接入智能客服只需要两周——一周做接口对接,一周做压力测试和效果评估。
成本呢?
当前的成本主要在推理端。13b模型单次推理大约需要两秒钟,在A100上一秒钟的处理成本按云服务价格算大概是零点几分。如果日均处理一万次问答,月推理成本大约在两万到三万之间。如果推理量更大,可以考虑量化优化来降低成本。
比现在你们bERt系统的运维成本高了大约三成?李总问。
对。但准确率提升了三十几个点——客户满意度会跟着上去。林晨打开笔记本上的一页数据,根据FinGpt v2的评测,智能客服场景下回答的正确率从六成三提到了八成五以上。如果客户因为不准确的回答而投诉——每通投诉的处理成本平均是几十到上百块钱——减少的投诉量本身就能抵消增加的推理成本。
李总看了一眼数据,然后对他的业务负责人说:下周拿一条业务线做试点。
散会后,陈博士在走廊里问林晨:你刚才的推理成本数据是什么时候算的?
昨晚。林晨说,算到凌晨两点。
下次算到凌晨两点的时候,顺便把量化和推理加速的方案也写了。如果客户量上来了,两秒的推理延迟和几毛的成本都会变成瓶颈。
已经在写了。下周出方案。
陈博士点了点头,然后拍了一下他的肩膀。什么都没说。
但这个动作,林晨懂。