爬虫相关问题请教

一共才 3000 多条，让实习生手工点不得了

挑个简单的回答：
1. 公开数据，是可以获取的，但是要注意并发，爬挂了，就是你的锅了

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/lawload

不都在这里嘛

又看了一下 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={title}.(pdf|docx)

闲着没事写了个获取 downurl 的伪代码
```python
import requests
import json
data = {'pageNo':1,'lawType':1}
rep = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data)
json_data = rep.json()
total_num = json_data['pageUtil']['rowCount']
data1 = {'pageNo':1,'lawType':1,'pageSize':total_num}
rep1 = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data1)
json_data1 = rep1.json()
json_list = json_data1['pageUtil']['pageList']
down_urls = []
for i in json_list:
down_url = f'''https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={i['secFutrsLawName']}.pdf'''
down_urls.append(down_url)
down_urls
```

没必要下载，本来就可以显示全文，直接爬取全文文本，生成 PDF 或 WORD

@yumusb 666 老哥

@SmartTom 666 老哥 请教一下这个接口地址和 lawType 这个参数是在哪里看到的呀

@ospider 我是说 有没有可能 我就是那个实习生

年轻人，大胆一点。就这点胆识，何时才能吃上公粮？

@crazychang #8 这个应该是业务层面定义的枚举吧 1 代表着“最新法规” 2 代表着"行政执法文书"，对应的就是上面 tab 切换的两个菜单内容。(个人猜测)

@crazychang #8 接口地址 F12 就能看到

@SmartTom 我大概也能猜到 但是想知道 您是怎么知道这个参数 和这个接口地址 存在呢

@crazychang 抓包。