编写爬虫程序-基于lte的车联网无线通信技术直接通信系统技术要求
四、编写爬虫程序根据前面的网页解析与网页翻页的分析，就可以设计爬虫程序爬取课程了。爬到的结果存储到数据库courses表中，这个表设计如下： create table courses (ID int primary key,cCourse varchar(256),cCollege varchar(256),cTeacher varchar(16),cTeam varchar(256),cCount varchar(128),cProcess varchar(128), cBrief text)其中ID是课程的编号，cCourse、cCollege、cTeacher、cTeam、cCount、cProcess、cBrief分别是课程名称、学校名称、主讲教师、团队成员、参加人数、课程进度、课程简介。爬虫程序如下： from selenium import webdriver from selenium.webdriver.chrome.options import Options import sqlite3 import time class MOOCSpider: def __init__(self): chrome_options = Options()
文件大小：1.19MB
评论区