基于知识的神经符号结合的离散推理研究.pdf

《基于知识的神经符号结合的离散推理研究.pdf》由会员分享，可在线阅读，更多相关《基于知识的神经符号结合的离散推理研究.pdf（44页珍藏版）》请在三个皮匠报告上搜索。

1、基于知识的神经&符号结合的离散推理研究演讲人：鲍军威京东科技算法科学家Homepage2023 智能人机交互技术架构2020以来对话问答相关对话问答相关科研成果系统集成&数据驱动技术验证5大类产业场景6项关键技术文本理解智能助手智能问答智能客服电商文创金融合规1套基础模型知识图谱知识驱动的多模态人工智能平台大规模生成式预训练语言模型为基础模型知识驱动数据沉淀认知智能与决策、创新、交互协同驱动数据驱动1个智能平台对话对话理解语言知识常识知识场景知识生成推理生成推理篇国际顶级/重要会议论文ACL、EMNLP、NAACL5项AI 榜单 Top1/2MultiWoz/QuAC/DROP/TAT Top

2、1，GLGE Top216重要技术突破v任务型对话模型任务型对话模型MarsMars，通过对话上下文与对话状态的对比学习，取得MultiWoz Top1。2023最新技术进展v大规模生成式预训练语言模型大规模生成式预训练语言模型：OpenAI研发的ChatGPT/GPT4引起新一轮AI技术革命，国际科技巨头，如百度、清华、阿里、华为等争先布局。基于京东人机交互平台言犀的京东AI自研产业版大模型ChatJD将助力大模型走向产业落地与应用。问答问答v生成式预训练语言模型生成式预训练语言模型P3LMP3LM，学习按照任意给定顺序生成自然语言，取得GLGE榜单Top2。v推理型复合知识问答模型推理型复

3、合知识问答模型UniRPGUniRPG，基于复合知识将问题转化为可解释的逻辑形式，取得TAT-QA Top1。v推理型机器阅读理解模型推理型机器阅读理解模型OPERAOPERA，通过预测离散推理操作+神经化离散操作执行策略，取得DROP Top1。2021202220222022可解释推理型对话问答难题：多轮对话全场景数据难题：多轮对话全场景数据知识结构多样知识结构多样，个性化用户，个性化用户意图任务复杂意图任务复杂，智能化系统，智能化系统决策推理匮乏决策推理匮乏数值数值推理推理（Numerical）离散离散推理推理（Discrete）长文长文推理推理（Long-Doc）情感情感推理推理（Em

4、otional）研究成果研究成果1：基于多粒度证据的：基于多粒度证据的数值数值推理阅读理解方法推理阅读理解方法研究成果研究成果2：基于轻量级算子的：基于轻量级算子的离散离散推理阅读问答方法推理阅读问答方法研究成果研究成果3：基于反复阅读的面向：基于反复阅读的面向长文长文的阅读理解方法的阅读理解方法研究成果研究成果4：基于：基于情感情感一致评论的对话式推荐回复方法一致评论的对话式推荐回复方法决策决策推理推理数值数值离散离散情感情感长文长文!#$%&()*+,-*#%&-*#%&././0 0+,1/2&#$3*#+,-/)*4/#$+,!*5)&#$6*+,7/8#$1&+,.%&#,()*+,

5、9&:*#()/;,?;,=8&#&ACD&E&,?&/C#$,FD,?&/C#$,G/)#&,?&/8#$,HB2D&)&#C#I,J4KHH,LMLNI!#$%&()*+,-*#%&-*#%&././0 0+,H)/O*#*/#+,1/2&#$3*#+,-/)*4/#$+,!F/#6/#$+,-#$,()/+,!*5)&#$6*+,7/8#$1&+,9&:*#()/I,PKCD&E&,?&/C#$,=&D,9&REI,JQQH4LMLLI-#$()/+,-*#%&-*#%&././0 0+,!F/#6/#$+,!#$%&()*+,!*5)&#$6*+,7/8#$1&+,.%&#,()*I,

6、?;,?&/8A=&DA?&/8,FD,4#$,*B&#E,G/)#&,?&/8#$,HB2D&)&#C#I,标准的提示词；模型至少需要标准的提示词；模型至少需要175B：思维链：思维链精调小模型精调小模型(T5 11B)基于大模型推理研究的未来方向 大模型事实错误仍存在=结合外部知识图谱的可信大模型研究 New Bing结合外部文档检索 大模型推理的安全如何保证=基于人类规则知识的可控解码 基于法律法规、道德规范、歧视偏见等规则知识推理答案 大模型推理能力如何获得=探针大模型推理能力来源的研究 结合生物学、神经科