讨论区 老师答疑区 主题详情
南风ykt1533277797442
老师,我尝试抓取36KER的所有含融资的快讯,但是用了各种方法,包括改headers等,都只能返回【】,这是为什么?????
课时26

所有回复(3)

是不是反爬取啊



你好!我刚刚学习这个,也遇到你这个问题。想了解下,现在你解决这个问题了没?


抓取链接 :http://36kr.com/search/newsflashes/%E8%9E%8D%E8%B5%84?page=1&ts=1534140047532


代码:

from bs4 import BeautifulSoup
import requests

url = 'http://36kr.com/search/newsflashes/%E8%9E%8D%E8%B5%84?page=1&ts=1534140047532'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')

titles = soup.select('span.title')

print(titles)


只能返回【】,改User-Agent也没有用。

回复

最近活动:
创建时间:
浏览次数:540
关注人数:0