新闻资讯

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻资讯列表

Storm的核心组件有哪几种,shiro核心组件

发布时间:2024-03-28 19:56:05

Storm的核心组件有哪几种

Storm的核心组件有以下几个:

  1. Nimbus:Nimbus是Storm集群的主节点,负责分配拓扑任务给Supervisor节点,监控任务的履行情况,并负责重新调度失败的任务。

  2. Supervisor:Supervisor节点是Storm集群中的工作节点,负责履行Nimbus分配给它的任务,它会启动和管理Worker进程来履行具体的数据处理任务。

  3. Zookeeper:Zookeeper是Storm集群中用来做散布式调和和配置管理的工具,它在Storm中主要用来调和Nimbus和Supervisor节点之间的通讯和任务分配。

  4. Topology:Topology指的是Storm中数据流处理的拓扑结构,包括Spout和Bolt等组件,并且定义了数据流的处理逻辑。

  5. Spout:Spout是Topology中的数据源组件,负责从外部数据源中读取数据并将数据发送给Bolt进行处理。

  6. Bolt:Bolt是Topology中的数据处理组件,负责对接收到的数据进行处理,并将处理结果发送给下一个Bolt还是Sink。

  7. Stream Grouping:Stream Grouping是Storm中用来定义数据流的分发策略的组件,可以指定数据流的分发方式,比如随机分发、分辨别发、全局分发等。