Java程序员使用的20几个大数据工具
最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。
这是一个系列,主题为:
web框架 应用服务器 SQL数据访问工具 SQL数据库今天我们就要说说大数据。根据维基百科,大数据是数据集的一个广义的术语,并且该数据集是如此庞大和复杂,以致于传统的数据处理应用程序无法胜任。
在许多情况下,使用SQL数据库用于存储/检索数据就足够了。但在另一些情况下,要么SQL数据库规模不够,要么还有更好的工具。这一切都取决于使用情况。
现在让我们来讨论一下存储/处理数据用的不同的非SQL工具——NoSQL数据库,内存缓存,全文搜索引擎,实时流,图形数据库,等等。
MongoDB—— 一种流行的,跨平台的面向文档的数据库。
Elasticsearch——专为云而构建的分布式REST风格搜索引擎。
Cassandra——一个开源的分布式数据库管理系统,最初由Facebook开发,被设计用来处理横跨多个商用服务器的大量数据,提供了无单点故障的高度可用性。
Redis—— 一个开源的(BSD许可),内存数据结构存储,作为数据库、缓存和消息代理使用。
Hazelcast——基于Java的开源内存数据网格。
EHCache——一种被广泛使用的开源Java分布式缓存,用于通用缓存、Java EE和轻量级容器。Ehcache相关介绍
Hadoop——用Java编写的一个开源软件框架,用于分布式存储和对在计算机集群上的超大型数据集的分布式处理。
Solr——一个开源的企业搜索平台,用Java编写的,来自于Apache Lucene项目。
Spark——Apache Software Foundation中最活跃的项目,一个开源的集群计算框架。
Memcached—— 一个通用的分布式内存缓存系统。
Apache Hive——提供了Hadoop之上类似于SQL的层。
Apache Kafka—— 一个高通量、分布式的发布-订阅式消息系统,最初开发在LinkedIn上。Windows上脱离Cygwin运行Apache Kafka
Akka—— 一个工具包和运行时,用于在JVM上构建高度并行的、分布式的、有弹性的消息驱动的应用程序。
HBase—— 一个开源的,非关系型的,分布式数据库,在谷歌的BigTable后建模,用Java编写,并运行在HDFS上。
Neo4j——用Java实现的开源图形数据库。
CouchBase——一个开源的、面向文档的分布式NoSQL数据库,特别为了交互式应用而优化。
Apache Storm——开源的分布式实时计算系统。
CouchDB——使用JSON来存储数据的面向文档的开源NoSQL数据库。
Oracle Coherence—— 一个内存的数据网格解决方案,通过提供快速访问常用数据的渠道,使得企业可预测地扩展关键任务应用程序。
Titan—— 一个可扩展的图形数据库,优化的目的在于存储和查询包含数千亿顶点和边的图形,分布在多机集群。
Amazon DynamoDB——一个快速、灵活、完全管理的NoSQL数据库服务,用于在任何规模需要一致的、个位数毫秒延迟的所有应用程序。
Amazon Kinesis—— 用于在AWS上的流数据的实时平台。
Datomic—— 一个用Clojure写的完全事务式的,支持云的,分布式数据库。
译文链接:http://www.codeceo.com/article/big-data-tools-java-programmer-use.html
英文原文:What Big Data Tools Do Java Developers Use?
原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/57598.html
apachejavaMemcachedRediswindows开源相关文章
- java工具类-Java对象转换成Map
- java实现ajax_Ajax&Java
- Java.Utils:Date 时间工具类
- java webservice 实例_Java WebService 简单实例(附实例代码)
- java uuid 随机数_Java随机数和UUID[通俗易懂]
- java平均的随机数_Java 随机数详解「建议收藏」
- n皇后问题 回溯法java_Java解决N皇后问题
- java文件转码工具-native2ascii.exe命令简介
- java 缓存工具类初始化_Java缓存框架
- Mock数据 – Java最好用的工具JMockData
- 从java到JavaScript(2):对比Java/Go/Swift/Rust看Dart
- java 使用 Common IO 包的 FileUtils 将文件大小转成适合阅读的格式详解编程语言
- 查看java性能Linux下JStat工具深度分析Java性能(linuxjstat)
- 数据如何使用Java读取MySQL数据(java读取mysql)
- Java开发常用Util工具类-StringUtil、CastUtil、CollectionUtil、ArrayUtil、PropsUtil详解编程语言
- 数据库Java连接MySQL数据库实现数据添加(java添加mysql)
- 玩转Linux:Java开发入门指南(linux上开发java)
- 数据库实现Java程序与Oracle数据库的连接(java链接oracle)
- 工具Linux上使用Java开发的利器:选择指南(linux选择java)
- Java实现Redis数据写入(java写入redis)
- Java调用Redis实现高性能数据存储(java调用redis)
- 构建Java应用程序中Redis集群的方法(java连redis集群)
- 使用Java轻松导出MySQL数据(java导出mysql)
- 简明易懂的介绍Linux java包的25个字的文章标题:Linux Java包:开发和运行Java程序的工具(Linuxjava包)
- Java与MySQL的无缝衔接:实现高效数据操作(java中使用mysql)
- Linux 服务器快速部署Java开发环境(linux配置java)
- 使用Java程序执行Linux指令:实现自动化操作(java执行linux命令)
- Java技术将数据写入Oracle数据库(java写入oracle)
- java实现excel导入数据的工具类