python按行分割文件:python 划分数据集文件(txt标签文件按比例随机切分)
2023-09-27 14:20:40 时间
import os
import random
class SplitFiles():
"""按行分割文件"""
def __init__(self, file_name):
"""初始化要分割的源文件名和分割后的文件行数"""
self.file_name = file_name
def get_random(self):
"""生成随机数组,随机划分 (0,190001)txt标签行数, 7600测试集标签行数"""
random_num = random.sample(range(0, 19001), 7600)
return random_num
def split_file(self):
if self.file_name and os.path.exists(self.file_name):
try:
with open(self.file_name) as f: # 使用with读文件
temp_count = 1
for line in f:
if temp_count in self.get_random():
self.write_file('test', line)
else:
self.write_file('train', line)
temp_count += 1
except IOError as err:
print(err)
else:
print("%s is not a validate file" % self.file_name)
def get_part_file_name(self, part_name):
""""获取分割后的文件名称:在源文件相同目录下建立临时文件夹temp_part_file,然后将分割后的文件放到该路径下"""
temp_path = os.path.dirname(self.file_name) # 获取文件的路径(不含文件名)
file_folder = temp_path + "/temp_part_file"
if not os.path.exists(file_folder): # 如果临时目录不存在则创建
os.makedirs(file_folder)
part_file_name = file_folder + "/PETA_" + str(part_name) + "_list.txt"
return part_file_name
def write_file(self, part_num, line):
"""将按行分割后的内容写入相应的分割文件中"""
part_file_name = self.get_part_file_name(part_num)
try:
with open(part_file_name, "a") as part_file:
part_file.writelines(line)
except IOError as err:
print(err)
if __name__ == "__main__":
file = SplitFiles(r"D:/project/datasets/PARdatasets/PETA/labels.txt")
file.split_file()
相关文章
- Python Kafka客户端性能测试比较
- python操作txt文件中数据教程[4]-python去掉txt文件行尾换行
- python操作txt文件中数据教程[3]-python读取文件夹中所有txt文件并将数据转为csv文件
- 使用python读取csv文件中的数据
- .ini文件的python处理
- Python 面向对象 (OOP)基本概念
- 用python导出csv文件
- 双目三维重建系统(双目标定+立体校正+双目测距+点云显示)Python
- Python 网络教程大全之 04 如何获取url下载文件的大小?
- vscod如何自定义 python虚拟环境
- 转 python 将一个文件中内容添加到另一个文件指定位置
- 如何毫不费力地探索您的 IDX 数据集,使用 idx2numpy 库在 Python 中探索原始 MNIST 文件
- PyCharm设置Python文件头部模板
- 【python基础教程】csv文件的写入与读取
- Python 基础 之 多任务 Process 进程应用的简单案例,简单实现文件夹文件拷贝(进程池,进程池队列等)
- Python pymysql批量执行目录里面的多个sql文件
- 【Python爬虫】:Xpath表达式的使用
- python第二十九课——文件读写(写数据的操作)
- python 安装 statsmodels(亲测有效)