基于工业物联网的智能制造大数据平台是广州大学智能制造工程研究院信息化基础设施建设规划中的一个重要组成部分。以高性能的基础硬件以及强大的spark大数据框架为支撑,平台将实现支持用户对数据从采集到应用的完整工作流程。平台具有高度的普适性,在通用的架构上配合具体项目所需的个性化软硬件,将能服务不同行业的用户。上图为平台的基本架构图,以材料基因工程项目为例,红色框指代项目的个性化订制(基础资源,大数据应用…),其余部分为平台的通用架构。
平台部署了大数据处理的基本组件。 在数据采集层上, Sqoop作为数据交换系统处理各类结构化与非结构化数据。而HDFS、YARN、Ambari、Oozie、Zookeeper和NoSQL则在数据储存与管理层上负责对文件和数据进行管理、储存和调度。在应用支撑与应用层上,平台提供以下组件:用于数据挖掘、报表服务等功能的一系列Business Intelligent工具, 分布式内存计算框架spark,机器学习算法库和深度学习框架Mlib、TensorFlow,流处理工具spark Streaming,图计算工具spark GraphX,图形化数据管理平台spark Notebook以及大数据分析查询系统sparkSQL。所有这些都将预先部署好,大幅简化用户的集群配置/安装及运维步骤。用户可以方便地在平台进行资源服务管理、计费管理、维护管理和运行监控等运营任务。利用平台自带的应用支撑结合客户需要的个性化软件,客户可以实现行业所需的大数据应用,例如图中材料基因工程项目则可进行材料性能分析、新材料研发、行业分析、工作流生成等任务。
广州大学智能制造工程研究院拥有高性能的硬件设备,其结合前沿的大数据技术打造的基于工业物联网的智能制造大数据平台具有优越的性能,轻量且集中的管理。平台极大简化了客户的部署步骤,同时允许企业根据大数据分析应用的扩建方便的对基础架构进行扩展,进而创造更强大的数据处理平台。
上一条:仿真与数字制造平台介绍