之前在学习网络爬虫时,一直使用的是requests的包去抓取资料。最近在github看了一些API,发现已经使用httpx也越来越多。简单查询了相关资料,发现httpx能够实现同步和异步两部分功能。而requests却是同步功能的实现。
最简单的实例即将之前requests包调用时,将requests换为httpx即可直接使用。
因为异步的还没怎么用到。后续具体使用后再做参考。这里一个比较有改变的地方是,可以把get等方法作为参数使用。
使用httpx.Client建立类似requests的session功能。然后可以进行build_request。