四月初的第一个周一,三个实习生到岗。hR的加急推送起了一些效果——最终收了二十几份简历,筛到九个面试,最后留下三个。
陈铭带着他们到十五楼那间临时改的标注间。说是标注间,其实就是把一间旧会议室的桌子重新拼了一下——三台显示器一字排开,键盘旁边放着厚厚一沓打印出来的标注规范文档。空调出风口有点响,陈铭去调了一下没调好,索性不管了。
三个人自我介绍的时候,林晨站在门口听着。
小敏,暨南大学财务管理专业大四,已经保研了,说话利索,眼神总在观察。简历上写着一堆奖学金,面试的时候问了个让林晨意外的问题——标注数据最后的模型效果我能看吗?我想写进毕业论文。林晨当时说可以。
周昊,鹏城大学金融工程研二,戴一副圆框眼镜,头发有点长,坐下来就开始翻标注规范文档,边看边用铅笔画线。不怎么说话,但问的问题很细——研报里这类措辞,标注置信度怎么设?
赵琳,也是鹏城金融工程研三,比周昊高一级。她是三个人里唯一有过实习经历的——在一家小券商研究所做了半年,写行业简报。进门的第一个动作是把手机翻过去扣在桌上。
林晨在前三天做了培训。不是那种念ppt的培训——他把标注平台投在大屏上,拿一份真实的年报问询函当场标。
看这段——请补充说明你公司2024年第三季度营业收入同比下降23.7%的原因,并说明是否存在持续经营能力风险。他一边读一边在标注界面上操作,事件类型——监管问询。涉及主体——这家公司本身,代码标上。影响方向——负面,不用想,交易所都质问你持续经营能力了。时间节点——2024年q3到q4,问的是第三季度的事但影响在四季度体现。关键数字——23.7%,还有持续经营能力虽然不是数字但属于定性风险指标,也要标。
周昊举手了。林总,影响方向标负面,依据是什么?如果这家公司去年同期基数特别高,今年同比下降其实是回归正常水平,那影响方向应该是中性才对。
林晨放下笔。你说的这个在分析层面是对的。但标注层面我们做的是消息本身的方向——净利润下降就是负面,不管基数高不高。原因很简单——模型得先学会净利润下降是负面信号这件事,才能去学基数效应可能让下降变成中性这种进阶判断。两步走,别混。
小敏接了一句:那如果同一条消息里正面和负面都有呢?比如这家公司净利润下降但经营性现金流反而改善了。
标混合。备注栏里把正面维度和负面维度分别写清楚——净利润下降23.7%,负面;经营性现金流改善,正面。模型以后要学会区分同一事件里的正负信号,我们的标注得先给它区分好。
赵琳一直没说话,但她的笔记写得密密麻麻。培训间隙她翻回前面重新看了遍自己记的内容,在某个地方画了个圈。
第二天培训重点是研报数据。林晨拿了一份国泰证券的行业配置报告做示范。这种报告里关键数字特别密集——消费板块建议超配至15%新能源行业盈利增速预期下调至8.2%——每一个数字都是标注目标。但是——他指着报告里一行字,考虑到估值修复空间——这算不算关键数字?
三个人都没出声。
不算。估值修复空间是个模糊预期,没有具体数值。标注关键数字的标准是——能在事后验证的。23.7%能验证,15%能验证,8.2%能验证。修复空间验证不了。不要标。
第三天下午,林晨让他们三个人各标五份,他当场批改。
赵琳的速度最快,五份四十分钟就交了。准确率还行,但有一份出了问题——她把大股东计划减持不超过2%标成了正面。林晨把她叫过来。减持不超过2%——你觉得为什么是正面?
赵琳愣了一下,然后脸上有点红。我看成增持了。
你看一下原文——两个字在上面,不超过是修饰减持比例的上限,不是把减持变成增持。这种错误很要命——模型如果在这里学反了,后面输出的研报分析会告诉你大股东减持是利好
赵琳把那份标注重新做了一遍,这次花了十五分钟。
周昊的五份准确率最高,但他标得太细了。一份问询函他标了四十多个关键数字,连公司注册地址变更这种跟投资决策无关的数字都标进去了。林晨跟他说:你的判断力没问题,但你缺一个过滤步骤。标完之后问自己——这个数字会不会影响任何一个人的买卖决策?不会的删掉。
小敏的五份里有一个标注让林晨多看了几眼。那是一份关于并购重组的问询函,公司回复里写了重组方案已获证监会受理。小敏把事件类型标成了并购重组获批。林晨指着那行字问:受理获批是一回事吗?
小敏仔细看了看。不是。受理只是说材料收了,获批是审核通过了。
对。在并购重组这件事上,从受理到获批中间可能隔三四个月,也可能最后批不下来。市场对这两种状态的定价完全不同。所以事件类型应该标并购重组获受理——精确到当前节点。
小敏改了标注,在备注栏加了一句:受理不等于获批,注意区分。
第四天,标注正式开始。
头三天林晨基本全天泡在标注间。他不是盯着他们看——自己也开了一台电脑坐在旁边标。早上十点到下午六点,中间除了吃饭不停。一份问询函他平均标六七分钟,比实习生快一倍。快的原因很简单——他看了太多研报和问询函,哪里有数字哪里有信号扫一眼就知道。
中午一起吃饭的时候,周昊突然冒出一句:林总,你标一天不累吗?我觉得盯两个小时眼睛就开始花。
林晨嚼着饭说,但你做量化的时候每天看几百条K线也累,不还是看?重复性工作没有不累的,关键是你得知道重复的目的是什么。
赵琳第二天就遇到了瓶颈。一份深交所的问询函回复长达三十八页,里面嵌了七张财务数据表。她花了四十五分钟才标完,标完之后整个人往后靠在椅背上,揉了好一会儿太阳穴。林晨走过去看了一眼她的标注——结构上没大问题,但有一张合并报表的表格她标错了层级,母公司数据和子公司数据混在了一起。
这种合并报表,子公司那一行标的时候要加个标签——子公司xx,别跟母公司的行粘在一起。模型读表跟人读表不一样,人一眼能看出来缩进代表从属关系,模型看的是token序列,你得把这个层级关系写进标注里。
赵琳点头,重新标那张表。这一次她花了二十分钟。
第一周结束的时候林晨做了质检。他在三个人各自的标注里随机抽三十份,逐条核对。结果出来了:小敏82%,周昊85%,赵琳76%。综合准确率81%。
他把三个人叫到一起,没开会,就是指着屏幕上出问题的样本一条一条过。
小敏,你这份——扣非净利润下降12%净利润下降3.8%是两个不同的数字,你只标了净利润。扣非净利润在投研场景下有时候比净利润重要——很多公司靠卖资产或者政府补贴把净利润做正了,但主业其实在萎缩。所以两个数字都得标。
小敏看着自己漏掉的那行,咬了下嘴唇。我以为净利润已经代表了。
净利润是最后那个数,扣非才是主业到底怎么样。看报告先看扣非。
周昊,你的问题不在标注本身——在过标。你这三十份里标了太多无关数字。我上次跟你说的过滤步骤,你做了吗?
周昊推了推眼镜。做了,但我不太确定哪些数字跟投资决策有关。比如有一份问询函里提到公司专利数量增加了15%——这个算不算?
看行业。如果是科技股,专利数量是核心指标,标。如果是传统制造业,专利数量跟盈利关系不大,不标。
赵琳——林晨的语气停顿了一下。赵琳的76%是最低的,她自己心里也清楚。你的问题集中在两种场景——合并报表的层级关系和大股东增减持的方向判断。第二种我之前跟你说过一次了。
赵琳没说话,手指在桌面下绞着。
这样——下周你专门标问询函里涉及股权变动的那类文档,别标其他类型。集中练一种场景,练到不出错再换。
赵琳点了一下头,很轻。
第二周林晨没有全程坐在标注间了。上午他在自己的工位处理项目其他事务,下午过来待两三个小时,抽查和答疑。但他每天下班前会抽出四十分钟自己标一批——保持对标注规范的手感,也为了让自己不跟一线脱节。有天晚上他标到八点多,周昊从工位过来找他——他以为周昊走了。
林总,我想跟你聊聊。
周昊站在门口,手插在卫衣口袋里。这个标注工作——我觉得学到东西,但有点担心。我们做的全是人工标注,如果以后模型能自动标注了,这套经验不就没用了?
林晨把手里的笔放下。你觉得模型能自动标注金融数据——什么时候能实现?
不知道。可能两三年?
两三年之后你在哪?
周昊没接话。
你现在学的这套东西——从非结构化文本里提取结构化信号——放到哪都是基本功。模型什么时候能自动标注我不知道,但标注标准本身在变——你觉得两三年之后这套规范会跟今天一模一样吗?
周昊想了想。不会。
所以你担心的事情不存在。规范在变,你干的事也跟着变。
周昊走了之后,林晨看着屏幕上自己标完的最后一份问询函。但他知道周昊的焦虑是真实的。标注工作确实枯燥,每天对着同一类文档反复标同样的维度,跟写代码比起来没有任何创造性。如果他自己二十出头坐在这里,大概也会想同样的问题。
第二周的质检结果:小敏90%,周昊91%,赵琳83%。赵琳提升最大——她把股权变动类文档标了整整一周之后,方向判断的错误率从原来的24%降到了9%。但她在财务报表层级关系上还是容易出问题,合并报表的数据偶尔还是会把子公司和母公司混在一起。
林晨跟陈铭说:你找个时间给赵琳开一次小灶,专门讲合并报表的结构。你是金融方向牵头人,讲这个比我清楚。
陈铭答应了。第二天中午他拉着赵琳在茶水间白板上画了半个钟头的合并报表结构图。赵琳回来之后标了一份带三层子公司的问询函回复,全对。
第三周的前两天,赵琳突然请了一天假。她没说原因,hR那边只走了正常流程。第二天回来的时候脸色不太好,标了半天出了好几个低级错误——把标成,漏标了两个关键数字。
小敏在休息的时候悄悄跟林晨说:赵琳昨天好像是因为身体不舒服,她最近经常揉眼睛。
林晨想了想,在工位上搜了一下,下单了一个显示器护眼滤光片和一把人体工学椅,第二天送到标注间。他没跟赵琳解释,就是把旧椅子换了。赵琳看到新椅子的时候顿了一下,坐上去试了试,然后低头继续标。
第三周结束时质检结果:小敏93%,周昊94%,赵琳89%。综合准确率过了93%的线。
月底,标注数据集的总量爬到了三千二百条人工标注样本。加上张雨那边自动标注后人工交叉验证的批次,总量接近五千条。林晨在项目文档里更新了数据端的最新数据,没有发群消息。他走到张雨工位旁边说了一句:数据够了,下周一启动智研1.0训练。