发布于 2017-11-21 00:49:20 | 224 次阅读 | 评论: 0 | 来源: 网友投递
Hazelcast 数据分发和集群平台
Hazelcast是一个高度可扩展的数据分发和集群平台,可用于实现分布式数据存储、数据缓存。
Hazelcast Jet 0.5 已发布,Hazelcast Jet 是一个分布式计算平台,专为高性能大数据的流处理和快速批处理而构建。它在内存数据网格(IMDG)中嵌入Hazelcast,以提供轻量级的处理器包和可扩展的内存存储。这是 Hazelcast 最新的开源项目。
Hazelcast Jet 具有以下特性:
低延迟和分布式的通用数据处理框架,具有高吞吐量
高并行和分布式的数据流和批处理
分布式 java.util.stream API 支持 Hazelcast 数据结构,如 IMap 和 IList
连接器允许从 Apache Kafka, HDFS, Hazelcast IMDG, sockets 和本地数据文件(如日志或 CSV)高速获取数据
自定义连接器的 API
针对内部部署和云部署的动态节点发现
通过 Docker, Apache jclouds, Amazon Web Services, Microsoft Azure, Consul, Heroku, Kubernetes, Pivotal Cloud Foundry 和 Apache ZooKeeper 进行虚拟化支持和资源管理
官方表示在许多方面这都是一个大版本的更新,带来了许多新功能,集中在下面这几个方面:
Fault Tolerant Stream Processing
Hazelcast Map Event Journal
Hazelcast Map Predicate and Projections
Custom source support for java.util.stream
详细更新内容请参阅发布说明:https://blog.hazelcast.com/jet-0-5-released/
使用
<dependency> <groupId>com.hazelcast.jet</groupId> <artifactId>hazelcast-jet</artifactId> <version>0.5</version> </dependency>
源码下载