> 文档中心 > 各大商超平台数据采集难易程度比较

各大商超平台数据采集难易程度比较

目前各大商超平台有代表性的主要有大润发,盒马,沃尔玛,山姆。目前大润发盒马在饿了么上面都有各自的店铺,沃尔玛在京东到家有店铺,并且都有各自的app。目前不管是饿了还是大润发app,盒马app,山姆app我都破解过了,并能持续采集数据。下面就各自得破解难易程度进行比较分析。
1.较简单的
综合比较来看,最容易的当属京东到家采集沃尔玛的数据了,京东一直以来并没有做太多的防爬措施,只要爬的不是太过分,一般能能爬,所以请大家收下留情,慢慢爬,爬过分了,估计就要上反爬了,哈哈哈。
2.难度中等
大润发app虽然有反爬,但是反爬策略做的并不好,很容易破解,并且有漏洞,很容易绕过,主要破解一个参数或绕过这个参数就可以了,具体细节就不展开了,想学习的可以加我沟通。
3.难度较大
难度最大的当属阿里系的饿了么和盒马了。盒马和饿了么都是阿里系,其实只要破解一个,另一个也就破解了,这里有两种方案一个是抓取小程序或h5,另一种就是逆向,通过frida 搭建rpc服务供爬虫调用。我个人感觉可以从h5入手,h5相对简单一点。逆向相对门槛高一点,并且需要对Java有一定的基础。以上就是我目前破解的情况,当然要想挑战可以看看美团,美团风控不是一般的强,目前还在研究中

美国云服务器