Python抓取动态网页表格信息

  PS:不管你是零基础还是有基础都可以获取到自己相对应的学习礼包!包括Python软件工具和2020最新入门到实战教程。加群695185429即可免费获取。 五一假期,研究了下Python抓取动态网页信息的相关操作,结合封面的参考书、网上教程编写出可以满足需求的代码。由于初涉python,过程中曲折很 …

  ps:不管你是零基础还是有基础都可以获取到自己相对应的学习礼包!包括python软件工具和2020最新入门到实战教程。加群695185429即可免费获取。

  五一假期,研究了下python抓取动态网页信息的相关操作,结合封面的参考书、网上教程编写出可以满足需求的代码。由于初涉python,过程中曲折很多,为了避免以后遇到问题找不到相关的信息创建本文。

  *本次测试主要采取两种方式抓取动态网页数据,一是requests及json分析的方式;一是selenium的方式。requests方式速度快,但有一些元素的链接信息抓取不到;selenium方式通过模拟打开浏览器的方式进行数据的抓取,由于要打开浏览器因此速度相对较慢,但是可抓取的信息比较全面。

  安装方式:管理员身份运行cmd;输入 pip install requests 命令,安装成功后会有提醒。如果一次不能安装成功就多安装几次

  (前提相关的端口没有封闭)。如果pip版本不是最新的,会提醒更新pip的版本,pip的环境变量也要设置,设置方式参照python的设置方式。

  找到正确的url:chrome打开集思录网站()。点击f12键,弹出的开发工具窗口中选network,然后选xhr,点f5键刷新。在name的那一栏里逐个点击,找到所需的xhr。通过preview可发现“?__jsl=lst”对应的xhr就是我们要寻找的,在headers里可以查到对应的url。

  json将requests的数据格式进行转化,方便数据查找。通过json格式转化之后,requestes的数据格式与preview的格式一致。如果要定位到“国轩转债”那栏数据,则使用代码js[rows][cell][bond_nm]*selenium抓取网页数据:

  配置与浏览器相对应的webdriver。以chrome为例,下载与chrome版本对应(在地址栏输入chrome://version后回车查看chrome的版本)的driver。放在chrome安装的文件夹下,并设置环境变量。

  python+opencv实现机器视觉基础技术(2)(宽度测量,缺陷检测,医学处理)

留下评论