基于 Scrapy 与 Redis 的分布式网络爬虫架构设计 介绍了一种基于 Scrapy、Redis、MongoDB 和 Graphite 的分布式网络爬虫架构。该架构采用 MongoDB 集群作为底层数据存储,利用 Redis 实现分布式爬取任务的调度与管理,并借助 Graphite 实现爬虫状态的可视化监控。 在该架构中,Redis 存储着爬虫请求队列和 Python 22 次浏览 2024-07-02
springCloud分布式架构 springCloud组件涵盖分布式配置中心、分布式注册中心、集群断路器、监控集群、服务追踪、MQ消息总线及监控信息收集、Kafka消息通知、路由网关、声明式http调用,并提供springCloud和dubbo微服务架构示例、kotlin+springCloud微服务示例,支持docker容器化、 Kotlin 25 次浏览 2024-04-27
Java 网络编程与分布式计算 这份资料深入探讨了 Java 网络编程和分布式计算的核心概念与技术,内容源自 Sun 公司的核心技术文档,并基于扫描版本进行了详细的标注,以帮助读者更好地理解和掌握相关知识。 Java 22 次浏览 2024-06-30
分布式跟踪示例 基于浏览器的 JavaScript 与捆绑在一起,Web 请求由控制器提供服务并自动执行跟踪。运行此示例前,请启动应用程序(npm start)和 Splunk Enterprise。 Nodejs 24 次浏览 2024-05-08
PySipder:用于Python网络抓取的分布式框架 PySipder是一个使用Python编写的分布式网络抓取框架。它提供了一个强大的API,支持Python 2和3,以及一个功能齐全的Web用户界面和脚本编辑器。PySipder还具有任务监控和项目管理功能,并支持结果查看和JavaScript页面。此外,它还支持多种后端系统,包括MySQL、Mon Python 20 次浏览 2024-06-17
dwrtc:分布式WebRTC信令 DWRTC-分布式WebRTC信令DWRTC通过分散的连接设置(信号发送)扩展了WebRTC。用户连接到Internet上的不同节点。这些节点通过存储路由信息的P2P网络连接。连接设置消息通过此网络路由。然后,可以使用WebRTC连接从Web浏览器直接向Web浏览器发送数据,音频和视频。作为概念 Kotlin 27 次浏览 2024-07-22