大数据时代的“小数据”
如今,CIO们都已经接受了“大数据”的概念,另一个概念也逐渐受到关注:小数据。
这两者看似是相对立的两端,但是这不完全正确。小数据往往指数据量;而大数据当然也包含了数据量,但是也包含了多样性,时效性,特定的技术或者其他概念。
Kirk Borne,是美国乔治梅森大学的天体物理学和计算机科学的教授, 他认为这两者的区别是很重要的。Borne有关大数据的课程专注于大数据的属性和先进的分析技术, 而这些也几乎总是可以应用于小数据。但是后者却可以使学生进行实验,磨练他们在数据分析上的技能。而大数据则会快速把他们淹没。
随着CIO们斟酌着“多少数据是太多的数据”这个问题时,小数据在企业界因为类似的原因为自己树立名声。 Borne,前美国航空航天局员工,还曾为哈勃太空望远镜团队工作10年,在接受TechTarget专访时讨论了有关什么是小数据,以及它和大数据概念如何相互融合。
问:您最近会在一些会议上讨论小数据和大数据的对比。让我们先从定义开始:什么是大数据,什么是小数据?
Kirk Borne:定义小数据相对容易点,因为它基本上就是你能在笔记本电脑上完成的数据。大数据 – 则更复杂。我现在正在推广这样一个定义:大数据就是一切能够被量化和被追踪的。关于这一点,我的意思是我们现在几乎对于一切都在进行测量和量化 – 通过社交媒体,智能高速公路,智能城市,移动医疗,电子医疗记录,监控摄像头无处不在,这也涉及到大数据所带来的隐私问题。所有可以被测量的一切,我们都在进行测量。而我们不仅只是进行一次测量,我们还跟踪它如何随时间而变化。
问:为什么大数据如此难以定义?
Borne:你肯定看过瞎子摸象的动画片。每个人对于它是什么都有不同的定义,因为有人摸到的是腿,有人摸到的是鼻子,有人摸到的是尾巴。对于‘大象’,每个人都有不同的描述和定义。这就是我们的难处。人们希望大数据是一个概念,但是这是行不通的。
问:就职于Actuate公司的Allen Bonde曾经说过,小数据适合人使用,而大数据适合机器使用。这一区别定义合理吗?
Borne:是的。这是一种概括的说法。小数据,是你学习时使用的数据。关于学习,我指的是两件事情:第一,教育概念里的学习。所以,当我教授课程时,我一直使用小数据,我从来没有使用过大容量意义上的大数据,因为如果这样,学生们就会花费一整个学期学习如何移动数据,而没有时间学习任何运算方法。第二,当你在一个企业内,你想知道使用哪些合适的数据能够,追踪客户,或者向客户提供推荐,或者知道客户的偏好。或者说,有一个网络安全分析问题,你需要检测出漏洞或黑客攻击。所以,你进行这些实验,找出你所需要测量的数据 - 这就是小数据。
一旦你学会了这一模型......那么你使用它,在机器上运行完整的数据流。机器,本质上,使用你通过小数据得出的模型或者技能,在大数据流上进行运算。所以,小数据适合人使用,而大数据适合机器使用。
问:可视化技术在小数据与大数据的讨论中如何起到作用?
Borne:让我给你举个例子。当你第一次使用谷歌地图或者其他任何地图服务时,你会先看到一个世界地图。你没有真正获得任何数据;你只是看到了地球的图片。当你不断放大到一个特定的地点,它只提供给你这个特定地点的信息。当你不断放大,你将获得越来越高分辨率的数据。当你放大到分辨率最大可能值时,你就能看到自家的后院。这只不过是大数据的一个子集。是的,这一部分是‘小数据’,但是你真正所作的是,建立了一个分级数据结构,使你能够一层一层的放大。你可以左右移动,在同样分辨率下看到其他房子或者小区。可视化的强大就在这里。当你键入这个分级数据结构的某一特定数据时,可以说,你只是看到了冰山一角。 但是当你想移动到另一边时,你就可以获得同样分辨率数据集下的其他特定数据。你仍然可以访问整个数据集。
如果是小数据,你只是下载了一张地图,比如你自己城市的一个高分辨率地图,然后在地图上进行数据分析。
原文发布时间为:2014年07月04日 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。《大数据、小数据、无数据:网络世界的数据学术》一 1.2 大数据与小数据 本节书摘来自华章出版社《大数据、小数据、无数据:网络世界的数据学术》一 书中的第1章,第1.2节,作者:[美] 克莉丝汀L. 伯格曼(Christine L. Borgman),更多章节内容可以访问云栖社区“华章计算机”公众号查看。
相关文章
- 大数据时代的历史机遇——产业变革与数据科学
- 整理第十六届全国大学智能车竞赛比赛数据
- 贵阳市委书记陈刚:大数据时代的贵州
- [独家]大数据版穹顶之下:清华人气男模解码雾霾分布
- 清华数据院院长韩亦舜:大数据时代的数据伦理问题探究
- 《大数据管理概论》一2.6 大数据融合的驱动枢纽
- Redis内存数据满了导致宕机
- 【数据预测】常规概念
- c 串口读写数据实例解析
- [转]Fiddler模拟post四种请求数据
- 发展趋势:大数据时代的块数据思维
- Mybatis 更新时返回值是负数,但数据更新成功问题分析解决
- 贵州开启“大数据+旅游+工业”新时代
- 大数据行业2016的变与不变
- 大数据时代来临,微软面向高校学生免费开放R Server
- 宜城运用大数据严查惠民政策落实问题
- 大数据时代留给数据分析师的羁绊
- 可视化平台助力智慧城市打造 将实现数据融合贯通
- 大数据时代,合作共享才能多赢
- 大数据时代真的来了
- 二、从后端请求到的列表数据,存在于对象数组中每个元素的不同属性对象中
- 真融宝:互联网金融精英时代来临 竞争依靠大数据风控
- 中国云谷串起大数据产业链