news 2026/9/17 2:15:19

使用Python处理JSON Lines格式的文件

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
使用Python处理JSON Lines格式的文件

使用Python处理JSON Lines格式的文件

常用来处理JSON Lines格式日志文件;也适用于.txt中存储的 JSON 数据。

著-------------Pan诶

1·准备

需要使用到的外部库:

Pandas、json。

导入库,代码如下:

import pandas as pd import json
  • import pandas as pd:导入pandas库并简写为pd,pandas是数据处理的核心库

  • import json:导入Python内置的json库,用于解析JSON格式数据

2. 读取文件并解析JSON数据,处理过程

data = [] with open('your_log_file.jsonl', 'r', encoding='utf-8') as f: for line in f: if line.strip(): # 跳过空行 data.append(json.loads(line.strip())) df = pd.DataFrame(data) df.to_csv('处理后的数据.csv', index=False, encoding='utf-8-sig')

超级无敌逐行拆分解释:

  • data = []
    • 创建一个空列表,用于存储解析后的数据

  • with open('your_log_file.jsonl', 'r', encoding='utf-8') as f:
    • with:上下文管理器,自动处理文件的打开和关闭

    • open():打开文件函数

    • 'your_log_file.jsonl':需要处理的文件名

    • 'r':“read”的缩写,只读模式

    • encoding='utf-8':指定文件编码,避免中文乱码

    • as f:将文件对象赋值给变量f

  • for line in f:
    • 用for进行循环,逐行读取文件内容

  • if line.strip():
    • line.strip():去除行首尾的空白字符(空格、换行符等) —— strip()会移除这些空白字符,得到干净的JSON字符串

    • 运行规则:如果去除空白后不是空字符串,则执行下一行

  • data.append(json.loads(line.strip()))
    • json.loads():将JSON字符串解析为Python字典

    • line.strip():确保字符串前后没有空白字符

    • data.append():将解析后的字典添加到data列表中

剩余步骤,这里data数据已经处理的差不多了,你可以使用Pandas创建DataFrame ;也可以直接访问数据。我这里以创建DataFrame为例进行演示

3. 创建DataFrame

df = pd.DataFrame(data)
  • pd.DataFrame():pandas的核心函数,将数据转换为二维表格结构

  • data:包含所有字典的列表,每个字典成为DataFrame的一行

4. 导出为CSV

df.to_csv('处理后的数据.csv', index=False, encoding='utf-8-sig')
  • df.to_csv():将DataFrame导出为CSV文件

  • '原始数据.csv':输出的文件名

  • index=False:不保存行索引(0,1,2,3...)

  • encoding='utf-8-sig':使用带BOM的UTF-8编码,确保Excel打开时中文不乱码

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/16 14:51:29

【RT-DETR涨点改进】独家创新首发、Neck特征融合改进篇 | TGRS 2025顶刊 | RT-DETR引入HFFE高低频特征融合模块,增强多层次特征融合、噪声抑制,助力目标检测有效涨点

一、本文介绍 🔥本文给大家介绍使用HFFE高低频特征融合模块改进RT-DETR网络模型,能够显著提升目标检测性能。HFFE通过引入层次化特征融合和注意力机制,优化了多尺度特征的融合,增强了小目标的检测精度和定位准确性,特别是在复杂背景和低质量图像中。此外,HFFE有效抑制了…

作者头像 李华
网站建设 2026/9/15 18:29:51

【荐书】掌握LLM,全套方法就在这本书里

Part.1 AI工程师都要会些什么? 大语言模型(Large Language Model,LLM)技术的兴起,正在深刻影响软件的形态,开发者的工作也从实现业务逻辑、构建独立应用,转向以LLM为底层引擎快速搭建智能应用的…

作者头像 李华
网站建设 2026/9/15 21:26:37

【必藏】网络运维与网络安全运维的区别解析:就业前景与学习路线全攻略

随着互联网的高速发展,运维安全已经成了大多数企业安全保障的基石。在如今的信息时代,无论是网络运维还是网络安全运维都成了不可缺少的一部分。因此导致很多人都容易把两者弄混淆。 **首先我们来了解一下网络运维和网络安全运维有什么区别呢&#xff1…

作者头像 李华
网站建设 2026/9/16 15:11:57

FPGA实现Sobel边缘检测与中值滤波:基于灰度图像处理的探索

FPGA sobel 边缘检测 中值滤波 基于灰度图像处理 ,开发板采用正点原子的,摄像头为ov5640 只有源码只有源码只有源码最近在FPGA开发上玩了一把基于灰度图像的Sobel边缘检测和中值滤波,用的是正点原子的开发板,搭配OV5640摄像…

作者头像 李华
网站建设 2026/9/16 17:45:42

SC6D10170H-JSM 碳化硅肖特基二极管

在新能源、工业控制等高端电力电子领域,碳化硅(SiC)肖特基二极管凭借高效、耐高温、高频的核心优势,成为提升系统性能的关键器件。杰盛微半导体深耕宽禁带半导体领域,重磅推出SC6D10170H 碳化硅肖特基二极管&#xff0…

作者头像 李华
网站建设 2026/9/17 2:55:49

探索三相光伏并网仿真模型:从原理到实现

三相光伏并网仿真模型 Boost+三相逆变器 PLL锁相环 MPPT最大功率点跟踪控制(扰动观察法) dq解耦控制 电流内环电压外环的并网控制策略在可再生能源领域,光伏发电因其清洁、可持续的特点备受瞩目。而三相光伏并网系统作为高效利用太阳能并接入电网的关键技…

作者头像 李华