Python爬虫知识梳理大全

200阅读模式
1.线程池怎么用?具体操作步骤是什么? 第一步,导入函数Pool:

from multiprocessing import Pool文章源自懂站帝-http://www.sfdkj.com/12812.html 第二步,将创建线程池的入口: pool=Pool(开始线程池的数量) 第三步,将对应的请求函数以及url链接传入: pool.map(对应的请求函数,url链接) 第四步,关闭线程池:

pool.close()文章源自懂站帝-http://www.sfdkj.com/12812.html 第五步,子程序继续进行:

pool.join()文章源自懂站帝-http://www.sfdkj.com/12812.html 2.协程怎么操作?协程怎么注册和运行? 第一步,导入函数:

import asyncio文章源自懂站帝-http://www.sfdkj.com/12812.html 第二步,获取响应数据:

c=requests('www.baidu.com').text文章源自懂站帝-http://www.sfdkj.com/12812.html 第三步,实例化循环对象:

loop=asyncio.get_event_loop()文章源自懂站帝-http://www.sfdkj.com/12812.html 第四步,将响应对象注册并运行:

loop.run_until_complete(c)文章源自懂站帝-http://www.sfdkj.com/12812.html Python爬虫知识梳理大全 3.task任务和future任务的区别是什么? task任务运行流程: 第一步,实例化循环对象:

loop=asyncio.get_event_loop()文章源自懂站帝-http://www.sfdkj.com/12812.html 第二步,创建task任务:

task=loop.create_task(c)文章源自懂站帝-http://www.sfdkj.com/12812.html 第三步,运行task任务:

loop.run_until_complete(task)文章源自懂站帝-http://www.sfdkj.com/12812.html future任务运行流程: 第一步,实例化循环对象:

loop=asyncio.get_event_loop()文章源自懂站帝-http://www.sfdkj.com/12812.html 第二步,创建future任务:

task=asyncio.ensure_future(c)文章源自懂站帝-http://www.sfdkj.com/12812.html 第三步,运行task任务:

loop.run_until_complete(task)文章源自懂站帝-http://www.sfdkj.com/12812.html 4.什么时候需要挂起?什么时候需要aiohttp? 当在运行任务的时候,遭遇阻塞的时候,需要通过await手动挂起,而在异步操作中,是不允许出现类似同步进程的,因此需要用aiohttp取代requests请求操作。文章源自懂站帝-http://www.sfdkj.com/12812.html

懂站帝
  • 本文由 发表于 2022年5月10日 22:28:21
  • 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至395045033@qq.com举报,一经查实,本站将立刻删除。