基于 Scrapy 与 Redis 的分布式网络爬虫架构设计 介绍了一种基于 Scrapy、Redis、MongoDB 和 Graphite 的分布式网络爬虫架构。该架构采用 MongoDB 集群作为底层数据存储,利用 Redis 实现分布式爬取任务的调度与管理,并借助 Graphite 实现爬虫状态的可视化监控。 在该架构中,Redis 存储着爬虫请求队列和 Python 22 次浏览 2024-07-02
springCloud分布式架构 springCloud组件涵盖分布式配置中心、分布式注册中心、集群断路器、监控集群、服务追踪、MQ消息总线及监控信息收集、Kafka消息通知、路由网关、声明式http调用,并提供springCloud和dubbo微服务架构示例、kotlin+springCloud微服务示例,支持docker容器化、 Kotlin 25 次浏览 2024-04-27
Java 网络编程与分布式计算 这份资料深入探讨了 Java 网络编程和分布式计算的核心概念与技术,内容源自 Sun 公司的核心技术文档,并基于扫描版本进行了详细的标注,以帮助读者更好地理解和掌握相关知识。 Java 22 次浏览 2024-06-30
分布式跟踪示例 基于浏览器的 JavaScript 与捆绑在一起,Web 请求由控制器提供服务并自动执行跟踪。运行此示例前,请启动应用程序(npm start)和 Splunk Enterprise。 Nodejs 24 次浏览 2024-05-08
PySipder:用于Python网络抓取的分布式框架 PySipder是一个使用Python编写的分布式网络抓取框架。它提供了一个强大的API,支持Python 2和3,以及一个功能齐全的Web用户界面和脚本编辑器。PySipder还具有任务监控和项目管理功能,并支持结果查看和JavaScript页面。此外,它还支持多种后端系统,包括MySQL、Mon Python 20 次浏览 2024-06-17
DataX特点-淘宝分布式 DataX特点•在异构的数据库/文件系统之间高速交换数据•采用Framework + plugin架构构建,Framework处理了缓冲,流控,并发,上下文加载等高速数据交换的大部分技术问题,提供了简单的接口与插件交互,插件仅需实现对数据处理系统的访问•运行模式:stand-alone •数据传输过 Java 20 次浏览 2024-08-13