为完成一个小型爬虫项目，在并未使用该平台提供的API情况下，细致分析了国内某著名电商网站商品属性的获取思路和方法，兹此记录分享，学习交流。
静态页面部分
为了获取独立商城网站建设静态页面部分的内容，需要使用firefox的开发者功能禁用javascript，如图
勾选"Disable JavaScript"。刷新页面后可见。通过静态页面可获取标题，商品ID，分类号，商品URL，图片url等内容。可直接使用正则表达式或xpath等工具分析获得，这里不再赘述。
动态内容部分
该网站大部分商品属性都是通过ajax动态获取的。还是通过浏览器来分析。取消勾选"Disable JavaScript"后，使用"Network"工具可对服务器响应的包进行抓包和分类。为避免反复重新加载页面时缓存的影响，勾选"Disable Cache"选项。先打开"Network"界面，然后刷新页面，可获得加载过程的抓包内容。ajax请求返回的数据为json或js类型。
例如：某json数据，url为
可在network工具箱内查看其response内容为
对照页面内容后发现其中p字段正是商品价格数据！
通过直接打开链接得到json串为
此response中带有回调函数名"cnp"，观察在url中也有一个相同字段。遂尝试在url中去掉该字段，重新请求后
获得json：
继续尝试删除请求中的get参数，最终发现可用
正常获取到相同的数据。
python解析代码：
获取到网上商城系统网站价格数据，方便了自动化生成。其余不能通过静态内容获取的属性均可类比分析尝试获得。
文章来源：segmentfault
<数商云（www.shushangyun.com）是国内知名企业级电商平台提供商，为企业级商家提供最佳的系统开发（多种模式电商平台搭建：B2B/B2B2C/B2C/O2O/新零售等）、供应链系统搭建及电商行业解决方案服务>
评论