中国科学软件网-首页

大数据分析与应用实验室

     当前,云计算、大数据、物联网、移动计算等新技术逐步广泛应用,经济社会各行业信息化步伐不断加快,社会整体信息化程度不断加深,信息技术对教育的革命性影响日趋明显。党的十八大以来,特别是中央网络安全和信息化领导小组成立后,党中央、国务院对网络安全和信息化工作的重视程度前所未有,“互联网+”行动计划、促进大数据发展行动纲要等有关政策密集出台,信息化已成为国家战略,教育信息化正迎来重大历史发展机遇。“十三五”期间,全面提升教育质量、在更高层次上促进教育公平、加快推进教育现代化进程等重要任务对教育信息化提出了更高要求,也为教育信息化提供了更为广阔的发展空间。

     随着大数据技术的广泛应用,以MapReduce、SPARK等分布式并行处理、NoSQL非关系数据库以及HDFS分布式文件系统为基本框架的大数据平台,能够对结构化、非结构化数据进行实时、半实时或者离线计算,为企业、社会提供市场趋势预测、用户行为特点分析以及更为敏锐的市场洞察力等。

     在这样一个大数据和云计算的背景下,高校的科研团队也投入了大量的人力和物力来进行大数据方面的基础设施建设、平台选型以及对海量数据的存储和大规模计算研究。但是,为了实现大数据的强大功能,学校的科研团队需要在数据层和基础设施层等基础架构中对数据进行抽象化的工作,传统大数据平台建设往往采用物理机模式,难以应对数据规模的不可预见性、计算能力需求的波峰与波谷,往往使得大数据平台的前期规划时间过程长,后期大量计算资源闲置浪费,各种问题纷纷凸现出来。

解决问题

1、 满足学校教师科研工作的要求,为科研人员提供满足科研工作的软件硬件环境,并可根据科研工作所处的阶段,具备灵活的扩展性;
2、 为学校相关学科全程教学和学生自学提供完整平台,包括课堂教学、学生上机、公共培训视频、课后练习试题库等;
3、 具备大数据存储和大规模运算的能力,能够扮演大数据计算中心的角色,并可承担大规模计算任务;
4、 系统具备高可靠性,可有效降低运维工作量,提高运效率。

方案整体架构

本方案整体架构采用云服务器+瘦客户机形式,整个系统集中部署在服务器端,包括数据集中存储、数据整合、数据运算,数据分析等,客户端可通过不同的终端设备登录进行大数据分析和应用。

硬件平台

本解决方案硬件平台采用高性能服务器集群+云终端(瘦客户机)架构,服务器端可根据用户应用需求,配置一台或多台高性能服务器,组成服务器集群,提大数据计算环境和供终端服务;