zl程序教程

您现在的位置是:首页 >  大数据

当前栏目

瞩望“大计算+大数据”

2023-09-11 14:19:47 时间

在最新一期全球超级计算机500强榜单中,中国研制的“天河二号”超级计算机摘得桂冠,连续第六次称雄,其每小时计算能力相当于13亿中国人上千年的工作量。

从概念上来说,超级计算机的基本组成组件与个人电脑并无太大差异,但是规格与性能则强大很多,是一种能够执行一般个人电脑无法处理的大资料量与高速运算的超大型电子计算机。打个比方说,如果把普通计算机的运算速度比作成人走路的速度,那么,超级计算机就达到了火箭的速度。

超级计算这一名词起源于1929年美国的一篇新闻报道。世界上第一台商用巨型机Cary—1于1976年问世。自此以后,超级计算机迅速发展。目前,“天河二号”持续计算性能达到每秒3.39亿亿次,超过Cary—1系统性能的2亿倍以上。

超级计算机的发展,是电子信息技术发展水平的集中体现和驱动。在超级计算机这个“超级大脑”里,体系结构规划着“大脑”的结构和功能组成;计算芯片则是“大脑”的基础神经元细胞;互连通信成为“大脑”的神经网络,并将神经元连通使其发挥超级能力。因此,超级计算机的研制涉及体系结构、计算芯片、互连通信、数据存储、集成电路、系统软件等诸多方面的创新。

当下,计算已经成为继实验、理论之后第三种认识世界的方式。超级计算平台,更是在科技创新和产业发展中发挥着顶天立地的支撑作用。在支撑重大科技创新方面,如大飞机与航天器设计、新材料新能源、药物研发、基因工程、气候气象等领域,超级计算机已成为创新研究的必要工具;在产业应用方面,无论是油气开发还是装备制造等,超级计算在提高生产研发效率、降低生产成本方面发挥了重要作用。

各国对超级计算机的发展都非常重视。2015年,美国再次将超级计算提升到国家发展战略,日本、欧盟、俄罗斯等也都制定了雄心勃勃的超级计算发展计划。超级计算将是未来各国抢占的技术前沿,其系统的研制和应用就像是“牛鼻子”,牢牢抓住这个“牛鼻子”,就可以使其在创新发展中扮演“国之重器”的角色。

随着中国国力的增强,超级计算需求也在急剧增加。目前落户天津的“天河一号”平台上,每天同时在线的高性能计算任务超过了1400项,支撑的研发、工程人员达到数千人,这是欧美国家级超算中心都很难达到的业务规模。数千平方公里高密度油气的勘探、高分辨率的气象预报、大规模的数值风洞、聚变核能的开发利用、脑科学等诸多领域的巨大计算能力需求,以及大数据带来的高效数据的处理需求,都对新的超级计算机研制提出了巨大挑战。特别是随着大数据的快速发展,如何实现“大计算+大数据”的融合,必将成为未来技术和产业发展的潮流。

本文转自d1net(转载)


大数据计算的基石——MapReduce MapReduce Google File System提供了大数据存储的方案,这也为后来HDFS提供了理论依据,但是在大数据存储之上的大数据计算则不得不提到MapReduce。 虽然现在通过框架的不断发展,MapReduce已经渐渐的淡出人们的视野,越来越多的框架提供了简单的SQL语法来进行大数据计算。但是,MapReduce所提供的编程模型为这一切奠定了基础,所以Google的这篇MapReduce 论文值得我们去认真的研读。
大数据,数据从哪里来? 0、题记 之前自己也做过一个大数据方面的讲座,讲解大数据背景、大数据原理、Hadoop(MapReduce、HDFS、分布式)、NoSql非关系型数据库存储、大数据应用(微博来源追踪、微信jiankong等)。诚然,大型互联网公司早已很早布局云计算、使用大数据。 而中、小企业在大数据的浪潮下,也想分得一碗羹,这就遇到棘手的源头问题:大数据,数据从哪里来?
大数据:大数据之数组 好程序员:大数据培训分享实用大数据之数组1.5.1 数组的定义与元素访问 数组是一个容器, 是一个用来存储指定数据类型的容器注意事项: 数组是一个定长的容器, 一旦实例化完成, 长度不能修改名词解释: 数组长度: 指的就是这个容器的容量, 表示这个数组中能存储多少个数据 元素: 指的就是数组中.