当前位置:首页 > 报告详情

预训练和微调 Transformer 模型以实现位置分辨率.pdf

上传人: 张** 编号:167747 2024-06-15 29页 1.05MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文介绍了BAM Elevate公司如何通过使用机器学习和数据产品来提高供应链风险管理的效率。文章首先阐述了BAM Elevate的业务背景,即作为Balyasny Asset Management的晚期风险投资策略,专注于高增长、技术驱动的部门。接着,文章提出了一个具体问题:如何从新闻文章中自动化提取地点信息,以便于及时风险警报的发送。 文章提出了一个两阶段的解决方案:首先是地点检测(NER),其次是地点去歧义(NED)。在地点检测阶段,作者通过自定义的训练数据集和五个公共数据集,对RoBERTA模型进行了微调,以提高在识别文本中的地点实体方面的性能。在地点去歧义阶段,作者创建了一个新的基于Transformer的系统,该系统能够将检测到的地点链接到Geonames数据库,这是一个开源的地理名称数据库,比维基百科覆盖面更广。 文章的关键数据包括:自定义训练数据集中标注的地点数量,以及微调后的RoBERTA模型在测试集上的性能指标。此外,还比较了他们的系统与现有最先进系统的性能,包括在地点去歧义任务上的精度、召回率和推理速度。 最终,文章指出了三个关键要点:不要重新发明轮子,上下文很重要,以及部署时需要深思熟虑。作者强调了在可能的情况下使用现成解决方案的重要性,对于更专业的EL任务,微调小型语言模型是值得的,并且成本效益高,同时,对于长文档,任何能够利用上下文的模型组件都是有帮助的,最后,建议将模型部署在REST端点后面,并与业务利益相关者合作,为模型错误设置防护措施。
"如何实现供应链风险预警系统?" "如何通过NLP技术自动化新闻文章中的地理位置提取?" "如何构建高效的地标识别与实体链接系统?"
客服
商务合作
小程序
服务号
折叠