您现在的位置是：首页 > Python

当前栏目

python进行数据抽取_python中的数据抽取

Python 数据

2023-03-02 14:05:40 时间

首先创建一个数据帧(使用随机数据)：import pandas as pd

import numpy as np

from datetime import datetime, timedelta

ab = pd.DataFrame()

ab\["subjectID"\] = np.random.randint(5, size=200)\#random list of "subjects" from 0 to 4

ab\["day\_number"\] = np.random.randint(50, size=200)\#random list of "dates" from 0 to 50

ab\['real\_date'\] = ab.day\_number.apply(lambda d: datetime(2018, 1, 1) + timedelta(days=d)) \#to simulate real dates

ab\["score1"\] = np.random.randint(200, size=200)\#meant to simulate one measurement from one subject

ab\["score2"\] = np.random.randint(400, size=200)\#meant to simulate a second measurement

min\_day = ab.real\_date.min()

ab = ab.groupby(\['subjectID', 'real\_date'\]).sum() \#because some subjects have more than 1 score each day

print(ab.head(10))

day\_number score1 score2

subjectID real\_date

0 2018-01-01 0 306 273

2018-01-04 3 32 60

2018-01-05 4 61 135

2018-01-08 21 477 393

2018-01-09 8 22 341

2018-01-10 9 137 30

2018-01-11 30 281 674

2018-01-14 13 183 396

2018-01-15 14 41 337

2018-01-16 15 83 50

然后用下一天的数据填充没有数据的天数：

^\{pr2\}$

4天的下一次重采样(分组依据)：res = df.reset\_index(level='subjectID').groupby('subjectID').resample('4D').first() \#group by 4 days periods and keep only the first value

res = res.drop(columns='subjectID')

print(res.head(10))

day\_number score1 score2

subjectID real\_date

0 2018-01-01 0 306 273

2018-01-05 4 61 135

2018-01-09 8 22 341

2018-01-13 13 183 396

2018-01-17 18 91 46

2018-01-21 20 76 333

2018-01-25 48 131 212

2018-01-29 29 92 81

2018-02-02 32 172 55

2018-02-06 72 98 246

最后，当有超过4天的周期没有数据时，重新设置索引并处理情况：res = res.reset\_index('real\_date', drop=True) \#the real\_date has no meaning anymore

res\['real\_date'\] = res.day\_number.apply(lambda d: min\_day + timedelta(days=d)) \#good real\_date based on the day\_number

res = res.drop(columns='day\_number')

res = res.set\_index('real\_date', append=True)

res = res.groupby(level=\['subjectID', 'real\_date'\]).first() \#regroups periods with no data for more than 4 days

print(res.head(10))

score1 score2

subjectID real\_date

0 2018-01-01 306 273

2018-01-05 61 135

2018-01-09 22 341

2018-01-14 183 396

2018-01-19 91 46

2018-01-21 76 333

2018-01-30 92 81

2018-02-02 172 55

2018-02-10 40 218

2018-02-15 110 112

这有点复杂，但我认为这是最好的办法。虽然我不知道效率如何，但似乎也没那么糟。在

猜你喜欢

鲜为人知但很有用的 HTML 属性
在 Go 里用 CGO？这 7 个问题你要关注！
数据孤岛是业务效率的无声杀手
9款优秀的去中心化通讯软件 Matrix 的客户端
翻转再翻转！有意思的水平横向溢出滚动
发现 Linux SpaceFM 文件管理器的威力
图像处理工具Python扩展库，你了解吗？
求职数据分析，项目经验该怎么写
自定义计数器小技巧！CSS 实现长按点赞累加动画
在OKR中，我看到了数据驱动业务的未来
2023展望：新的一年将给大数据分析领域带来什么？
过五关！React高频面试题指南
阿里云ADB基于Hudi构建Lakehouse的实践
火山引擎云原生大数据在金融行业的实践
OpenHarmony富设备移植指南（二）—从postmarketOS获取移植资源
《数据成熟度指数》报告：64%的企业领袖认为大多数员工“不懂数据”
OpenHarmony 小型系统兼容性测试指南
肯睿中国（Cloudera）：2023年企业数字战略三大趋势预测
适用于 Linux 的十大命令行游戏
软件开发中的十个认知偏差

zl程序教程

当前栏目

python进行数据抽取_python中的数据抽取

相关文章