[实践]数据科学驱动力矩阵方法介绍
在当今的大数据时代,利用数据科学理论进行数据分析起着越来越重要的作用。探讨不同数据技巧类型和熟练程度对相关项目有着怎样的影响也开始具有重要意义。近日,AnalyticsWeek的首席研究员、Bussiness Qver Broadway的总裁Bob Hayes博士就公开了研究数据分析项目成功所必需技能的相关结果。Bob所提出的基于技能的数据科学驱动力矩阵方法,可以指出最能改善数据科学实践的若干技能。
数据技能的熟练程度
首先,Bob在AnalyticsWeek的研究包含了很多向数据专家提出的,有关技能、工作角色和教育水平等有关的问题调查。该调查过程针对5个技能领域(包括商业、技术、编程、数学和建模以及统计)的25个数据技能进行,将其熟练程度划分为了6个等级:完全不知道(0分)、略知(20分)、新手(40)、熟练(60分)、非常熟练(80分)和专家(100分)。这些不同的等级就代表了数据专家给予帮助或需要接受帮助的能力水平。其中,“熟练”表示刚好可以成功完成相关任务,为某个数据技能所能接受的最小等级。“熟练”以下的等级表示完成任务还需要帮助,等级越低需要的帮助越多;而“熟练”以上的等级则表示给予别人帮助的能力,等级越高给予的帮助可以更多。
Bob列出了4中不同工作角色对于25种不同数据技能的熟练程度。从上图可以看出,不同领域的专家对其领域内技能的掌握更加熟练。然而,即使是数据专家对于某些技能的掌握程度也达不到“熟练”的程度。例如,上图中浅黄色和浅红色区域都在60分以下。这些技能包括非结构化数据、NLP、机器学习、大数据和分布式数据、云管理、前端编程、优化、概率图模型以及算法和贝叶斯统计。而且,针对以下9种技能,只有一种类型的专家能够达到熟练程度——产品设计、商业开发、预算编制、数据库管理、后端编程、数据管理、数学、统计/统计建模以及科学/科学方法。
并非所有的数据技能都同等重要
接下来,Bob继续探讨了不同数据技能的重要性。为此,AnalyticsWeek的研究调查了不同数据专家对其分析项目结果的满意程度(也表示项目的成功程度):从0分到10分,其中0分表示极度不满意,10分表示极度满意。
对于每一种数据技能,Bob都将数据专家的熟练程度和项目的满意度进行了关联。下表就列出了4种工作角色的技能关联情况。表中关联度越高的技能就表示该技能对项目成功的重要性越高。而表中上半部分的技能相比于下半部分的技能对于项目结果更加重要。从表中可以看出,商业管理者和研究者的数据技能和项目结果的满意度关联度最高(平均r=0.30),而开发人员和创新人员的关联度只有0.18。此外,四种工作角色中不同数据技能之间的平均关联度只有0.01,表明对于一种数据专家是必须的数据技能对于其他数据专家未必是必须的。
数据科学驱动力矩阵:图形化结果
基于熟练程度和关联度的结果,Bob绘出了数据科学驱动力矩阵(Data Science Driver Matrix,DSDM)的示意图。其中,x轴代表所有数据技能的熟练程度,y轴代表技能与项目结果的关联度,而原点则分别对于熟练程度的60分和关联度的0.30。
结果解读:改善数据科学的实践
在DSDM中,每一种数据技能都会落在其中的一个象限中。由此,这种技能所代表的含义也就不同。
象限1(左上):该区域内的技能对于项目结果非常重要,但熟练程度却不高。那么,通过聘请掌握相关技能的数据专家或者加强相关技能的员工培训,项目就可以取得很好的改进。
象限3(右下):该区域内的技能对于项目结果而言为非必须,但掌握的熟练程度较高。因此,需要避免在这些技能上的过度投入。
象限4(左下):该区域内的技能对于项目结果而言为非必须,掌握的熟练程度也不高。但是,仍然没有必须要加强对这些技能的投入。
Bob针对商业管理者、研究者、开发人员和创新人员4中角色分别创建了DSDM,并主要关注落在第一象限的技能。
商业管理者
对于商业管理者而言,第一象限中的技能包括统计学/统计建模、数据挖掘、科学/科学方法、大数据和分布式数据、机器学习、贝叶斯统计、优化、非结构化数据、结构化数据以及算法。而没有任何技能落在第二象限。
开发人员
对于开发人员,只有系统管理和数据挖掘两种技能落在第一象限。绝大部分技能都落在第四象限。
创新人员
对于创新人员,共有数学、数据挖掘、商业开发、概率图模型和优化等五种技能落在第一象限。而绝大部分技能都落在第四象限。
研究者
对于研究者,共有算法、大数据和分布式数据、数据管理、产品设计、机器学习和贝叶斯统计等五种技能落在第一象限。而落在第二象限的技能却很少。
结论
从以上的研究中,Bob得到以下结论:
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号
王怀民院士:图灵计算模型仍是最深刻的理论基础,是新科学基础的基点 下文为国防科大王怀民院士在第 24 届全国高校计算机学科系主任 / 院长论坛上的主旨报告《人机物融合智能化时代,计算机学科专业创新人才培养》。机器之心做了不改变原意的整理。 在计算无处不在的当下,计算机学科专业却大有泯然众生之态。新时代的计算机学科专业创新人才该如何培养?王怀民院士以 120 年的时间跨度回顾计算机学科专业的发源和发展历程,不同的历史阶段有着不同的发展模式,在时代的激流中什么改变了,什么是不变的?计算机科学和技术的发展具有国家战略意义,在人机物融合的新时代,如何理解从而实现科技创新?
新突破!动态网络表征学习在推荐领域的创新与实践 在现实生活中,用户对于一件事物的关注度即关系图往往是会随着时间而改变的。按照静态图的建模方法将不能显示地建模用户在时序上的兴趣变化。动态网络表征学习不仅能学习到当前网络的结构信息,而且也能学习到网络在时间上的变化,但是目前主要还是针对动态同构网络,本文在此基础上提出了基于层次化注意力机制的动态图表征算法,是推荐底层算法模型上的一次突破。
相关文章
- python_DataFrame的loc和iloc取数据 基本方法总结
- Python __str__() 方法
- 爬虫之数据提取jsonpath模块的使用场景和使用方法
- MATLAB 数据分析方法(第2版)2.1 基本统计量与数据可视化
- c#和c++的opencv位图数据参数互换问题解决方法
- 关于Visual Studio "当前不会命中断点.还没有为该文档加载任何符号"的解决方法
- 【使用unittest框架】unittest中的方法:学习setUp()和tearDown()函数以及断言方法
- WebLogic Server 账号密码密文解密小方法
- .NET MVC自定义错误处理页面的方法
- 《Python面向对象编程指南》——2.3 __hash__()方法
- 《机器学习与数据科学(基于R的统计学习方法)》——1.9 数据集
- 《机器学习与数据科学(基于R的统计学习方法)》——2.5 读取CSV文件
- 《机器学习与数据科学(基于R的统计学习方法)》——2.13 从谷歌分析中读取数据
- IIS减少工作线程阻塞的方法
- 基于ROS-Unity的移动机器人虚实交互场景构建方法的研究
- 设备管理器,其他设备,PCI数据捕获和信号处理控制器出现感很多未知设备感叹号,通用解决方法,以华为matebook为例
- 【转发】JQuery中操作Css样式的方法
- 1 开发一个注重性能的JDBC应用程序不是一件容易的事. 当你的代码运行很慢的时候JDBC驱动程序并不会抛出异常告诉你。 本系列的性能提示将为改善JDBC应用程序的性能介绍一些基本的指导原则,这其中的原则已经被许多现有的JDBC应用程序编译运行并验证过。 这些指导原则包括: 正确的使用数据库MetaData方法 只获取需要的数据 选用最佳性能的功能 管理连
- 数组的迭代方法
- [Oracle]快速构造大量数据的方法
- Python requests.post方法中data与json参数区别
- SQL SERVER 2008 误删数据且无全备恢复方法
- 利用cookies进行登录并封装请求方法
- 微信小程序学习第7天——自定义组件(创建与引用、方法和属性、数据监听器、插槽)
- MySQL 8.x 报错 Public Key Retrieval is not allowed 错误的解决方法
- CAD——将图形移动到指定点的方法(此处以捕捉坐标系原点为例)
- 常用方法 读取 Excel的单位格 为 日期格式 的数据
- ECharts的介绍和使用方法,以及其他常见的数据可视化库介绍
- IDEA设置显示行号和方法间的分隔符