Storm实时流处理入门教程
分布式流里的老朋友Storm,其实还挺适合初学者入门的,尤其是搞大数据、实时这块的朋友。
Twitter 出品的系统,稳定性和扩展性都还不错。消息不丢、及时,适合那种数据量大又要求响应快的场景,比如日志、实时推荐这些。
Storm 的拓扑结构有点像管道,把数据一路下去。每个节点都能并行跑,效率挺高。最常见的用法就是:Spout
负责接数据,Bolt
负责和输出。搭配ZooKeeper用,集群管理也不复杂。
它不挑语言,Java、Python、Clojure 都能整。尤其是你已经熟 Java,基本上上手就能跑起来。语法不算复杂,逻辑通了之后,写起实时流比想象中轻松。
Storm 挺适合用来做一些在线学习、流计算 ETL 这种任务,代码结构清晰、维护也方便。像 Twitter 这种大厂都在用,咱们也不用怕踩坑。资源和社区都蛮全的。
如果你在找一个能跑得稳、写起来不绕的实时框架,Storm
可以列入考虑清单。尤其想搭个轻量级的流系统,它真是不错的选择。
2.26MB
文件大小:
评论区