蚂蚁TuGraph计算引擎技术架构与应用.pdf

《蚂蚁TuGraph计算引擎技术架构与应用.pdf》由会员分享，可在线阅读，更多相关《蚂蚁TuGraph计算引擎技术架构与应用.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、蚂蚁蚂蚁TuGraphTuGraph计算引擎技术架构与应用计算引擎技术架构与应用范志东 蚂蚁图计算开源负责人蚂蚁图计算发展历程蚂蚁图计算发展历程流图引擎架构与原理流图引擎架构与原理蚂蚁核心图业务场景蚂蚁核心图业务场景未来与展望未来与展望目录目录 CONTENTCONTENT蚂蚁图计算发展历程蚂蚁图计算发展历程0101图数据图数据&图计算图计算BiologySocial NetworkFinanceTraffic复杂分析实时性大规模传统大数据引擎图引擎关联分析：表J Join 图T Traversal如何实现关联分析?每一次遍历，数据膨胀VertexVertexJoin1Join1EdgeEdg

2、eJoin2Join2Join3Join3表模型Table Join传统传统大数据大数据引擎引擎蚂蚁图计算引擎发展史蚂蚁图计算引擎发展史2015GraphXGraphX20202020自研图存储GeaFlowGeaFlow2019图表融合DSL(SQL+Gremlin)20162016基于JStorm的流图引擎JellyJelly2021功能完善性能优化业务推广20222022接入ISO/GQLConsole平台项目开源TuGraphTuGraph AnalyticsAnalyticsAPI(Graph/Table)State(Graph/KV)RuntimeDSL(SQL/GQL/Greml

3、in)ConsoleCloud(K8S)20182018基于Ray的动态图引擎RayaGRayaG蚂蚁流图计算引擎蚂蚁流图计算引擎 TuGraphTuGraph AnalyticsAnalyticsGitHub仓库：https:/ AnalyticsAnalytics 是蚂蚁自研的开源分布式实时图计算引擎，支持万亿级图数据分析能力，实现了图表模型的一体化处理和流、批、图多模态计算，并提供 Exactly Once 语义、高可用以及一站式云原生研发部署能力，目前广泛应用于数仓加速、金融风控、知识图谱以及社交网络等场景。分布式实时图计算引擎分布式实时图计算引擎 TuGraphTuGraph Ana

4、lyticsAnalytics 功能特点核心能力流图引擎架构与原理流图引擎架构与原理0202TuGraph Analytics 产品功能概览VertexVertex历史数据VertexVertexEdgeEdge构图构图Traversal/Traversal/迭代计算迭代计算结果表结果表输出输出GeaFlowGeaFlow StateState04VertexVertex全量图全量图G G实时数据源实时数据源G G +G+G计算计算 G读窗口数据更新G结果表结果表输出分钟级延迟05图研发平台01图表融合05时序图计算04图仿真计算02图构建能力03图查询服务VertexVertex数据源数据源

5、GeaFlowGeaFlow StateState图构建图构建OLAPOLAPServerServer图图查询查询图存储图存储图定义图定义G6VPG6VP0103TuGraphTuGraph 全域全域产品架构产品架构源于蚂蚁业务实践、性能世界领先的企业级图数据管理平台业务应用消费金融关系网络安全风控智能营销数据血缘(300+)知识图谱TuGraph图数据管理平台操作管理分析洞察引擎内核数据源MySQLOracle关系型数据库CSV文件JSON消息队列SLSKafka大数据存储ODPSHiveRestful/RPC、命令行、J ava/PythonSDK等多种形式接口在线 图数据库 引擎TuGr

6、aph DB分布式架构多地容灾集群管理毫秒级响应元数据一站式图平台TuGraph Platform图运维集群管理监控大盘日志管理系统功能数据集成工具TuGraphLink国际标准图查询语言 ISO-GQL批量增量实时多数据源在线离线导入导出实时监控DSL运维工具部署环境操作系统CentOS麒麟 CPU/GPUx86ARM 部署形态容器物理机一体机图构建模型设计数据映射数据导入数据管理图查询语句查询模板管理副本设置插入数据图分析实时图查询可视化图分析配置管理发布集成近/离线 流式图计算 引擎TuGraph Analytics时序图计算流图计算流图匹配图仿真图学习 框架TuGraph LearnG