Python分布式爬虫和数据挖掘

默认教学计划
49人加入学习
(0人评价)
价格 免费
教学计划
承诺服务
课程介绍

本课程技术要点:

1.爬虫相关工具、requests模块、数据的提取方法、xpath语法、lxml模块、多线程、多进程爬虫、线程池、协程池实现爬虫

2.框架的基础结构、框架核心模块的封装、框架动态模块的加载、框架实现请求去重、框架中使用线程池、协程池、框架分布式的实现、框架实现增量式爬虫功能、框架实现断点续爬功能

3.科学计算numpy、pandas、数据可视化matpalotlib、金融数据的分析和处理

课程目标
  • 掌握爬虫的工作原理和实现流程
  • 掌握通用的反反爬的机制
  • 掌握mongodb数据库的应用
  • 可使用基础的模块实现数据采集
  • 可使用主流的爬虫框架实现数据采集
  • 能够自己造轮子实现爬虫框架
适合人群
  • 适合有Python语言基础、面向对象编程思想,Linux基本操作基础的人士

授课教师

全栈开发讲师

学员动态

ZhiaiDM 加入学习
黄馨卉 加入学习
王炜 加入学习
秦姝祺 加入学习
景玉秀 加入学习