中科曙光：金融大数据的应用路线（19页）.pdf

1、金融大数据的应用路线邵宗有计算决定未来2 大数据：用新的数据处理手段对海量新型数据进行分析处理，为新业务提供数据服务。大数据时代信息领域新的变革2“信息日益成为一种商业原材料：一种与资本和劳动力并存的新经济元素 ”-2010，经济学人“信息将成为21世纪的石油”-2010，Gartner计算决定未来3适用大数据解决方案的行业计算决定未来4面临的挑战和问题人才缺失4V的挑战标准不统一需求不明确应用落地困难数据共享壁垒计算决定未来5大数据生态系统计算决定未来7曙光大数据技术框架大数据安全体系大数据安全体系大数据管理平台大数据管理平台云运维安全云运维安全运维支撑运维支撑运营支撑运营支撑应用支撑应用支

2、撑云防护安全云防护安全数据安全数据安全主机安全主机安全应用安全应用安全基础设施统一处理引擎模型工具SOA总线数据整理数据源实时处理实时处理离线分析处理离线分析处理事务处理事务处理文本检索文本检索挖掘算法库挖掘算法库图像匹配图像匹配音频检索音频检索并行查询引擎并行查询引擎数据采集管理数据采集管理数据标准化接入接口数据标准化接入接口企业服务总线企业服务总线业务服务总线业务服务总线大数据可视化大数据可视化交互服务交互服务经营分析经营分析情报分析情报分析知识网络知识网络海量音频识别海量音频识别行为分析行为分析决策推荐决策推荐信息统计信息统计海量图像检索海量图像检索设备管理设备管理服务管理服务管理调优诊

3、断调优诊断统计报表统计报表数据查询数据查询作业管理作业管理作业调度作业调度任务流管理任务流管理文件管理文件管理物理安全物理安全网络安全网络安全实时数据实时数据非实时数据非实时数据告警管理告警管理数据转换数据转换门户门户XData安全体系XData安全体系XData管理平台XData管理平台XData服务门户XData服务门户大数据处理核心支撑产品大数据处理核心支撑产品DS900统一存储ParaStor云存储TC4600I640I950I840XData一体机一体机XData-Hadoop发行版发行版大数据业务定制开发大数据业务定制开发政府政府互联网互联网科研科研金融金融通讯通讯军工军工媒体媒体

4、计算决定未来8开放的XDATA大数据平台加载导入海量数据处理数据抽取与集成支撑业务信息交易数据行为记录数据融合数据结构化数据非结构化数据半结构化数据数据处理分析形成决策移动互联网物联网互联网通信网来源来源存储存储应用应用数据采集数据加工分析分析开放的大数据平台开放的大数据平台计算决定未来9数据形成广州广州哈尔滨哈尔滨深圳深圳成都成都乌鲁木齐乌鲁木齐福州福州重庆重庆长沙长沙西安西安昆明昆明杭州杭州济南济南天津天津南宁南宁南昌南昌郑州郑州合肥合肥上海上海太原太原沈阳沈阳武汉武汉南京南京长春长春北京北京青岛青岛石家庄石家庄呼和浩特呼和浩特贵阳贵阳兰州兰州非结构化数据结构化数据非结构化数据非结构化数据

5、现有生产环境现有生产环境11年历史数据12年历史数据持续50亿条记录/每天持续35TB非结构化数据写入/每天多渠道的数据采集计算决定未来10数据整理数据模块数据模块数据模块数据模块数据模块数据模块数据模块数据模块数据模块数据模块在线数据区(NewSql/NoSql/HBase/MPP/Storage）离线数据区归档数据区计算模块计算模块计算模块计算模块计算模块并行查询并行查询并行查询并行查询并行查询个性化查询索引/标签计算决定未来11数据分析管理系统系统监控系统监控日志管理日志管理帐户管理帐户管理配置管理配置管理作业调度作业调度高可用管理高可用管理存储管理存储管理与应用相结合的分析交易分析交易

6、分析语义分析语义分析经营分析经营分析信息统计信息统计互联网互联网科研科研金融金融通讯通讯军工军工政府政府能源能源制造制造教育教育媒体媒体舆情分析舆情分析情报分析情报分析全文检索全文检索模式识别模式识别数学建模数学建模人工智能人工智能聚类分析聚类分析复杂关联复杂关联分类预测分类预测局外分析局外分析演变分析演变分析并行计算并行计算断点续算断点续算HadoopHadoop数据清理数据清理数据变换数据变换OLTPOLTPOLAPOLAP知识网络知识网络数据选择数据选择数据集成数据集成计算决定未来12电信信令经营分析，CDR系统建设社会关系挖掘金融交易历史统计，异