您现在的位置是:首页 > Javascript
当前栏目
json解析模块
2023-02-18 16:40:10 时间
json.loads(json)
把json格式的字符串转为Python数据类型
html_json = json.loads(res.text)
json.dumps(python)
把 python 类型 转为 json 类型
import json # json.dumps()之前 item = {'name':'QQ','app_id':1} print('before dumps',type(item)) # json.dumps之后 item = json.dumps(item) print('after dumps',type(item))
json.load(f)
将json文件读取,并转为python类型
import json with open('D:\\spider_test\\xiaomi.json','r') as f: data = json.load(f) print(data)
json.dump(python,f,ensure_ascii=False)
把python数据类型 转为 json格式的字符串,一般让你把抓取的数据保存为json文件时使用
参数
- python: python类型的数据(字典,列表等)
- f: 文件对象
- ensure_ascii: ensure_ascii=False # 序列化时编码
import json # 示例1 item = {'name': '金毛狮王', 'card': '屠龙刀'} with open('yt.json', 'a') as f: json.dump(item, f, ensure_ascii=False) # 示例2 item_list = [ {'name': '紫衫龙王', 'card': '123'}, {'name': '青翼蝠王', 'card': '456'} ] with open('ystlj.json', 'a') as f: json.dump(item_list, f, ensure_ascii=False)
练习: 将腾讯招聘数据存入到json文件
# 1. __init__() self.f = open('tencent.json','a') self.item_list = [] # 2. parse_page() self.item_list.append(item) # 3. main() json.dump(self.item_list,self.f,ensure_ascii=False) self.f.close()
json模块总结
爬虫用到json最多
1、数据抓取 - json.loads(html)
将响应内容由: json 转为 python
2、数据保存 - json.dump(item_list,f,ensure_ascii=False)
将抓取的数据保存到本地 json文件
抓取数据一般处理方式
- txt文件
- csv文件
- json文件
- MySQL数据库
- MongoDB数据库
- Redis数据库
相关文章
- [android] WebView与Js交互
- [javascript] 看知乎学习js事件触发过程
- [javascript] 看知乎学习js闭包
- [angularjs] angularjs系列笔记(八)事件
- [angularjs] 前端路由实现单页跳转
- [angularjs] angularjs系列笔记(七)HTML DOM
- [angularjs] angularjs系列笔记(六)http
- [angularjs] angularjs系列笔记(五)Service
- [angularjs] angularjs系列笔记(四)过滤器
- [angularjs] angularjs系列笔记(四)控制器
- [angularjs] angularjs系列笔记(三)模型
- [angularjs] angularjs系列笔记(二)指令
- [nodejs] nodejs开发个人博客(七)后台登陆
- [angularjs] angularjs系列笔记(一)简介
- [nodejs] nodejs开发个人博客(六)数据分页
- [nodejs] nodejs开发个人博客(五)分配数据
- [nodejs] nodejs开发个人博客(四)数据模型
- [nodejs] nodejs开发个人博客(二)入口文件
- [nodejs] nodejs开发个人博客(一)准备工作
- Node 项目通过 .npmrc 文件指定依赖安装源