node-crawler:遵循robots.txt约定的20000行node.js爬虫。可以存储测试文件
节点爬虫遵循robots.txt约定的20000行node.js爬虫。可以存储用于测试的文件。用法实例化var nodecrawler = require ( 'node-crawler' ) ; var crawler = new nodecrawler . Crawler ( { loadstatic : false , loadstaticDirectory : "/tmp" , checkrobotsTXT : true , "callback" : function ( error , result , ignore ) { if ( result && result . body . length > 0 ) { } } } ) ;
文件大小：6.74KB
评论区