哈啰出行从Copilot到Agent模式的探索-贾立.pdf

1、哈啰出行大模型转型之始漫漫提效路:Copilot模式&Agent模式/贾立Part1：哈啰AI1 1、哈、哈啰啰AIAI场景：是否都用大模型重做一遍场景：是否都用大模型重做一遍2 2、大模型、大模型CopilotCopilot：提升人效：提升人效研发助手：codeGPT运营助手：运营知识库/客服助手设计助手：营销海报/短视频3 3、大模型、大模型AgentAgent：赋能：赋能业务业务LLM：用于客服机器人AIGA：用于业务流程4 4、构建大模型平台：加速业务大模型转型、构建大模型平台：加速业务大模型转型哈啰AI场景双边交易类硬件即服务类C端流量B端供给流量交易匹配引擎治理引擎数据洞察私域流量

2、公域流量免费流量付费流量线上流量线下流量打车顺风车租车数科客服营销商品ECPM=*pCTR*pCVR*BidPrice营销创意自动化 AIGC营销动作自动化 AIGA时空供需匹配Recall-Rank智能客服智能判责用户洞察、城市网格、LBS服务端智能模型加速、算子模板云智能边缘端、移动端推理多模态感知自动化控制两轮换电新业务智能调度资产保全视觉核查、知识管理滤波定位、智能件控制C端：营销算法、推荐(匹配)算法B端：调度算法、策略算法 底层：CV算法、NLP算法开发运营设计分析提效多模感知内容生产信息筛选策略生成抽象是否都用大模型重做一遍Step1：看可行性（从GPT4-Turbo Demo-

3、自研Finetune）大模型改变人机协作模式GenAI：P(y|x)vs P(x,y)为何选择GenAI场景跨度：AIGC（图文）AIGX（Item/Bid)AIGA（策略）泛化能力：缓解（分布偏移&策略退化）逻辑能力：涌现（显性逻辑&隐形逻辑）额外要求：RAG（精确性&实时性）大模型的好处涌现：In-Context、指令遵循、逐步推理带来：人机交互简化 和 自动化（生产力）跃升 加速：Copilot和Agent模式起飞人AIEmbedding 模式人AICopilot 模式人AIAgent 模式部分Tasks另一部分Tasks设置OKR完成Tasks执行Task提供Task建议是否都用大模型

4、重做一遍Step2：看投入成本（十人、百人、千人-百卡、千卡、万卡）公司模型人力应用Note百度文心3K通用百亿投入，几个万卡集群，不含万人标注团队，也不含做应用等人（AI Natvie改造）蚂蚁百灵600通用也做行业大模型（医疗、金融、代码、客服）阿里通义等1K 通用多个大模型团队（千问、淘天、爱橙）腾讯混元500+通用行业解决方案、CV、客服字节云雀几百数智人-火山云支持大模型平台，砍掉游戏、VR资源投入大模型拼多多未知搜推客服AI电商美团未知搜推、数智人收购光年之外、入股智普AI滴滴未知TMC商旅柴华带队携程问道100+旅游能力有限，只做行业大模型B站100-搜推千卡集群运满满未知调度车

5、路人数据保密，私有化大模型米哈游投资MiniMax游戏和腾讯、小红书共同投资了MiniMax关键技术实现成本通用大模型基于开源重构（Vivo）纯自研模型（文心）大模型训练推理平台AI硬件行业大模型Finetune：Post-pretrainFinetune:SFT Finetune:RFTLPrompt工程：COT、批量优化外挂知识库、RAGAI Agent中间层Infra简单Agent：人Agent交互复杂Agent：多模态、AI Native工作流、自进化模型选型&落地的一般姿势 1、Demo：商业化模型验证方向可行 2、云平台验证开源大模型 3、服务器部署大模型 4、各种finetune

6、Copilot:降本提效Agent:创新业务(相对要求较高工程能力)优点缺点ChatGLM2-6B 显存占用少（20G）无需量化单卡可用 单卡可训练逻辑推理能力较差ChatGLM3-6B 继承ChatGLM2的优点微调后，相比ChatGLM2-6B提升不大Qwen-7B 显存占用少（20G）逻辑推理能力较差 使用Lora微调后会出现重复Llama2-13B 显存占用少（40G）单卡可用 原版中文表现较差Qwen-72B-int4 能准确理解提示语 模型理解能力强 具备一定的逻辑推理能力 模型太大，必须量化 需要推理加速 单卡无需训练我们试过的开源基座大模型业务理解算法能力工程能力落地路径更看重