常扬-文档解析技术加速大模型训练与应用.pdf

1、文档解析技术加速大模型训练与应用常扬 合合信息演讲嘉宾常扬合合信息 智能创新事业部研发总监/复旦大学 博士合合信息智能创新事业部研发总监，复旦博士，复旦大学机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，多个学术会议讲师与技术社区AI专家博主，负责合合智能文档处理业务线的产品、技术、云服务平台研发工作。任职期间，先后主导AI数据清洗平台、信息抽取产品、智能文档处理云服务平台、智能文档场景落地产品，为金融、制造、物流等行业提供智能文档处理产品与解决方案，在人工智能领域具备丰富的技术落地经验和行业场景洞察力。目 录CONTENTS1.当前大模型训练与应用中的挑战2.

2、文档解析技术发展与研究内容3.TextIn文档解析技术算法框架4.基于文档解析技术的大模型应用探索5.总结与展望当前大模型训练与应用中的挑战PART 017研究背景当前大模型训练与应用过程的关键环节面临的问题训练Token耗尽训练语料质量要求高LLM RAG应用中文档解析不精准8CommonCrawl,C4,Github,Wikipedia,StackExchange,Huggingface数据集LLAMA2:2T TokensGPT4:13T Tokens高质量预训练数据跟不上模型的进化如何高效获取更多高质量数据?互联网 书籍、论文等PDF/扫描件Markdown核心诉求文档元素识别，表格、

3、段落、公式、标题版面正确解析，双栏、三栏、文表混合更多、更高质量的训练语料的需求 大模型训练转化速度快，上百页PDF阅读顺序还原，避免混乱语序9大语言模型（LLM）驱动的检索增强生成（RAG）技术中确保能够从源文件中精准地提取内容，对于提高最终输出的质量至关重要。在实际工作场景中，非结构化数据远比结构化数据丰富。但如果这些海量数据不能被解析，其巨大价值将无法发掘，其中 PDF 文档尤为突出。RAG技术流程更高精准、效率的文档解析的需求 大模型应用10研究方向：多版式、高精度、高性能的文档解析技术（书籍、论文、企业文档.)各种格式、版式文档文档问答、知识库问答大模型TextIn文档解析技术Tex

4、tIn文档解析技术训练应用11文档解析技术发展与研究内容PART 0212有标记文档无标记文档Word文档HTML文档计算机视角下有标记的文档：#有标记文档MarkDown示例#第一部分#子标题|表格列1|表格列2|表格列3|-|-|-|正文：有标记的文档指的是可以直接用计算机处理，结构化的文档 机器可以直接读取 机器无法直接读取扫描文档图像PDF文档可以将文本组织成段落、单元格、表格没有储存任何结构信息，如表格或段落MarkDown文档计算机视角下无标记的文档：%PDF-1.04 0 obj stream 1.0.0.1.50.700.cmBT/F0 36.Tf(Hello,World!)T

5、jET endstreamendobj文档介绍：计算机视角下两种类型的文档13PDF文件：一系列显示打印指令的集合，非数据结构化格式。显示不受设备、软件或系统的影响PDF(Portable Document Format 便携式文档格式)，独立于应用程序、硬件和操作系统呈现文档的文件格式，能够完全保留原文档的格式。非结构化文档、不具备可编辑性为了极致的显示一致性，PDF 会将文本的位置、字体、间距、缩放比例、页边距等所有属性在文件格式中限定死，让软件没有自由发挥的空间。解析 PDF 文档的挑战、让计算机可以获得PDF信息准确提取整个页面的布局，并将所有内容（包括表格、标题、文本段落和图像）转化

6、为结构化数据形式。PDF文件格式14MarkDown文件：关注内容而非打印格式，可以表示多种文档元素。“优雅、简约、统一”表达多种形式的数据被互联网世界接受，充斥在各种数据中可以被大模型所理解MarkDown文件格式15文档介绍：文档多版式示例16元素遮盖重叠复杂版式：双栏、跨页、三栏元素本身有多样性页眉形式1页眉形式2多栏的影响多栏+插入表格的影响123456234561无线表格识别合并单元格识别单行公式与行内公式表格内公式文档介绍：文档解析典型技术难点17阶段主要特点主要方法、进展主要应用或事件概念阶段:1920年代纯光学技术光学模板匹配首个OCR专利第一阶段:1950-70年代字符识别方