Spider 接收参数

Python安装

class XXXXXXXSpider(scrapy.Spider):
	name = "......."
   allowed_domains = ["......com"]
   domains = "https://.......com"
   start_urls = [
        #"http://www.baidu.com"
        "............."
    ]
   user_agent='***************'
   def __init__(self,tag):
     self.tag = tag
     

使用

1.控制台运行时

scrapy crawl xxxxx -a tag=123

2.py文件运行

python3 xxx.py

import ...

process = CrawlerProcess(get_project_settings())
process.crawl(XXXXXSpider, 123)
process.start()

2.1

接收键盘输入

input 使用

$python xxx.py

$请选择::

123

import ...
tag = input("请选择::\n")
process = CrawlerProcess(get_project_settings())
process.crawl(XXXXXSpider, tag)
process.start()

2.2运行时传递参数

python 3 xxx.py 123

import sys
import ...
tag = argv[1]
process = CrawlerProcess(get_project_settings())
process.crawl(XXXXXSpider, tag)
process.start()

赏

感觉不错 支持一下

支付宝

微信

本文作者： NUK
最后更新： 2023年12月13日 17:35:03
本文链接： http://www.uilucky.com/post/ecc32afd.html
版权声明： 本作品采用 CC BY-NC-SA 4.0 许可协议进行许可，转载请注明出处！