测试小记

昨天刚刚又温习了一下python的网页爬取内容,虽然以前也测试过,但现在的感受更深了。
跟着网络,试着爬了某网站期货即时价格网页数据,经过分析网页,单页数据很容易就爬了下来。
由于是新手的缘故,对代码还很不熟悉,简简单单的多页爬取,根据我自己的理解一晚上也没有成功。
今天重来,再试着测试,仍然不行。
反过来,又找到昨天学习的网站,看了下其他多页爬取内容,一模一样的代码敲上去根本就不行,一直提示错误,实现不了。
实际上,昨天我就发现爬下的每一页数据为字典类型,内部所需数据为列表类型,只要迭代循环合并列表就行,不过没有成功。
今天,我又试着更新字典,也没有成功,取得的新字典是空的,试了列表的extend和append,只能合并前2页,很奇怪。
于是,我改了页面大小为全部页面,很容易就获得了全部数据。
但,对于有些限制页面大小的网站,这样是不行的。
再试,一句一句测试,首先选择其中三个页面数据,一个一个测试各个函数的结果,发现,如果将extend赋值给某个变量,返回值是空。
这样就知道怎么改了,不赋值,直接使用,然后格式化输出,成功,所有页面所需数据均已经成功获取。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注