亚博ERP

    高性能计算化解大数据应用挑战

    虽然大数据技术与 大数据应用得到了快速的扩展，但是仍旧存在着很多问题，其中比较突出的是“4V”挑战(容量、类型、速度、价值)。目前，大数据的容量可达到PB级，这些 大容量数据的存储、处理会对用户的计算系统产生极大负担，建立在普通计算能力基础上的系统往往无法满足大数据的需求，更无法为用户获取价值以实现领先于他 人的优势。

    邵宗有表示：“在应对大数据挑战的过程中，高性能计算可以起到重要作用。从数据的存储与处理的角度来说，采用高性能计算系统不仅可 以大幅降低大容量存储的成本，而且其处理数据、传输数据、恢复数据的速度会远远超过普通的计算系统。在过去完整恢复一块硬盘的速度可能需要48个小时，但 融合了曙光高性能计算技术的存储产品，能将时间控制在十几分钟，显著降低了大规模集群存储系统中用户运维的压力，提高了系统效率。”

    此外，高性能计算还可以为大数据应用中的数据同化问题提供解决思路。在大数据采集系统中，可能各个采集设备采集的数据在格式与类型 上都是不一样的，将这些不同的数据进行统一会消耗大量的计算资源。而高性能计算在数据同化方面已经取得重要进展，其同化的速度和精确性已经能保持在一个很 高的水平，其发展成果“嫁接”到大数据中会产生巨大的价值，并推动实现数据的组织和管理，基础架构，决策支持和自动化界面和分析。

    高性能计算和大数据将深入融合推动实际应用

    对于任何一种技术概念，应用都是其体现最终价值的落脚点。目前，大数据正在处于从概念到应用的过渡时期，大数据应用在产业成熟度、 用户接受度、系统易用性等方面都存在着很多障碍。大数据应用怎样部署?大数据存储的数据怎样产生价值?如何将大数据分析后产生的结论应用到企业运营的决策之中?由于缺乏大规模应用的成熟案例与产业集群，金融用户等行业用户迟迟无法下定部署大数据的决心。

    邵宗有指出：“相对于大数据来说，高性能计算在很多行业用户中都得到了较早的部署与应用，其部署可以在软硬件一体化平台、数据存储 等方面为大数据应用打下良好的基础。特别是高性能计算和大数据在内在逻辑上是相通的，在平台扩展、应用落地等方面具有互补优势，这就满足了高性能计算和大 数据进行融合的充分性条件。”

    为了推进高性能计算与大数据的融合发展，改善大数据应用环境，目前曙光已经发布“平台一体，智汇应用”的行业大数据战略，并通过软硬件结合的一体化平台作为支撑。其中，硬件XData大数据一体机采用成熟的高性能计算机和高性能存储系统作为基础，在软件上则整合了高性能操作系统与Hadoop软件。解决方案全面集合曙光在高性能计算、高性能存储等方面的资源优势，可为行业企业构建有竞争力的大数据整体解决方案和服务，达到平台能力及应用的灵活扩充和增长，提供真正的统一数据分析能力。