【京东】商品评价数据采集+商品评论数据采集+买家评论内容数据+行业评论数据采集
采集场景
京东商品详情页中的评价,有多个分类:【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现,其他需点击后展现。本文以按【差评】筛选采集为例讲解。实例网址:https://item.jd.com/100005185609.html;https://item.jd.com/100006607505.html;https://item.jd.com/100004770263.html。
采集字段
用户名、评价正文、颜色、内存、评论时间、店铺名称、星级。
采集结果
采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:
JD.item_review - 获得 JD 商品评论数据接口代码展示
1. 请求方式:HTTPS POST GET
2. 公共参数:
名称 | 类型 | 必须 | 描述 |
---|---|---|---|
key | String | 是 | 调用key(必须以GET方式拼接在URL中,查看调用示例) |
secret | String | 是 | 调用密钥 (复制v:Taobaoapi2014 ) |
api_name | String | 是 | API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等] |
cache | String | 否 | [yes,no]默认yes,将调用缓存的数据,速度比较快 |
result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读 |
lang | String | 否 | [cn,en,ru]翻译语言,默认cn简体中文 |
version | String | 否 | API版本 |
3.请求参数:
请求参数:num_iid=71619129750&page=1
参数说明:item_id:商品ID page:页数
4.请求代码示例,支持高并发请求(CURL、PHP 、PHPsdk 、Java 、C# 、Python...)
# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api-gw.19970108018.cn/jd/item_review/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=71619129750&page=1"
headers = {
"Accept-Encoding": "gzip",
"Connection": "close"
}
if __name__ == "__main__":
r = requests.get(url, headers=headers)
json_obj = r.json()
print(json_obj)
5.响应示例
相关文章
- 什么是大数据架构?需要学什么内容?[通俗易懂]
- hutool excel写数据
- 腾讯云大数据“数智话”技术沙龙 第一期—云数据仓库 for Apache Doris 内容回顾
- 常见的降维技术比较:能否在不丢失信息的情况下降低数据维度
- 数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第九章文件和内容管理篇
- 图灵奖得主Judea Pearl谈机器学习:不能只靠数据
- mysql根据json字段内容作为查询条件(包括json数组)检索数据
- 新闻内容去重算法simhash实践详解大数据
- CentOS7.5之Sqoop1.4.7的安装使用详解大数据
- Redis区分大小写,获取更多数据灵活性(redis大小写)
- 用Linux实现数据存储映射(linux存储映射)
- MySQL中的二进制数据处理(mysql二进制数据)
- MySQL实现多表关联,打破数据瓶颈(mysql多表关联)
- 深入了解Oracle表关联:提高数据查询效率(oracle表的关联)
- MongoDB数据安全:保护隐私加密数据(mongodb数据加密)
- dataSQL Server中数据以倒序排列(sqlserver倒序、)
- 从Oracle库中调用存储过程——有效管理数据内容(调用oracle存储过程)
- 查看MSSQL数据库表中的数据(mssql查看表内容)
- 使用Oracle全连接排序实现数据排序精准化(oracle全连接排序)
- MySQL表数据删除操作(mysql中删除表中内容)
- 数据字典变存储Redis实现一次性查找(数据字典放redis)
- MySQL数据分割技巧一列内容分割(mysql 一列内容分割)
- 如何快速查看Redis数据内容(如何查看redis内容)
- Oracle两行数据实现无缝拼接(oracle两行数据拼接)
- MySQL数据表字段内容的批量修改、清空、复制等更新命令
- 获取ashx得到的内容(已处理好的数据)
- 合并两个DataSet的数据内容的方法
- asp.net导出excel数据的常见方法汇总