news 2026/9/1 6:26:21

Linux 之大文件拆分、合并与校验

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Linux 之大文件拆分、合并与校验

有时候进行程序开发的时候,某些公司会限定 git 单个提交的文件大小,如果我要提交的某个 xxx.jar 太大导致超过限制的话,可能就没办法将 xxx.jar 文件作为一个整体提交上去。

不过,我么可以曲线救国绕过这种限制,使用 split 命令方法将这类大文件拆分成多个,然后分多次提交到仓库;然后在其他地方,拉取仓库,最后将拆分的文件再使用 cat 再合并起来即可。

文件拆分

split -b 10m -d -a 2 xxx.jar xxx.jar.part
  • -b 10m:按大小拆分,每块10MB(注意:Linux 下小写m代表 1048576 字节,即 MiB;若想严格按 1000*1000 字节,可用40M)。

  • -d:使用数字后缀(而非默认字母),即从00开始。

  • -a 2:后缀长度为2 位,生成00~99,最多支持 100 个分片。

  • xxx.jar:源文件。

  • xxx.jar.part:输出文件前缀

文件合并

cat xxx.jar.part* > xxx.jar

文件校验

这种拆分再合并的文件和原先的文件真的是一样的吗?我们可能不禁会疑问!

当然,有这种担忧完全是可以理解的,毕竟最后的文件是拆分后的文件碎片再组合起来的新文件,而且经过了各种传输,如果合并后的文件不能和原文件保持一致的话,那这么做就完全没有意义了。

不过,我们可以在文件拆分前生成一下文件的 md5 值。文件合并以后,再生成一下合并文件的 md5 值。如果前后的 md5 值没有发生变化。那说明文件在拆分合并过程中是没有损坏,文件的完整性得到了校验。

md5sum xxx.jar 5eb63bbbe01eeed093cb22bb8f5acdc3 xxx.jar

如果文件前后的 md5 值不一致,则说明传输或者其他地方出错了,需要排查原因后重试。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/1 6:24:18

ur_rtde:UR机器人RTDE实时控制与视觉引导实战解析

简介:ur_rtde-1.1.0 是 Universal Robots 官方维护的 Python 绑定库,专为与 UR 机器人实时数据交换(RTDE)协议深度交互而设计,面向工业自动化开发者、机器人控制工程师及高校科研人员,解决 Python 环境下低…

作者头像 李华
网站建设 2026/9/1 6:22:33

从零搭建工业级多模态炼钢大模型:Qwen2.5-VL + LoRA 实战全流程

在钢铁冶炼场景中,如何让大语言模型同时"看懂"炉口火焰、"读懂"时序传感器数据、并给出专业的操作指导?本文完整记录了从数据构建、模型微调、API部署到实时接入RTSP视频流和工业传感器的全流程实战,包含踩坑总结。 一、项目背景 转炉炼钢是钢铁生产的…

作者头像 李华
网站建设 2026/9/1 6:22:28

基于SpringBoot的环保知识普及平台的设计与实现(源码+讲解视频+LW)

联系博主 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 …

作者头像 李华
网站建设 2026/9/1 6:21:43

蔚来数据分析岗笔试复盘:SQL窗口函数与业务案例实战解析

2024年秋招,我投了蔚来汽车的数据分析岗,笔试做完最大的感受是:蔚来这套题不是想刷掉你,而是想看清你到底有没有做过真正的数据分析工作。网上关于蔚来笔试的零散经验帖不少,但大多是“考了什么题型”“难度如何”这种…

作者头像 李华
网站建设 2026/9/1 6:20:18

Palantir Study 02|Palantir 产品全景:Gotham、Foundry 等名词归位

上午 9:10,恒川工业的计划员打开缺料处置页面:物料 M-1042 只剩 760 EA 可用,订单 HC-SO-260801 可能延期。页面给出受影响订单、调拨方案和供应商邮件摘要,主管可以批准处置。新 BA 看完演示,却在会议纪要里写下六个“…

作者头像 李华
网站建设 2026/9/1 6:18:59

OpenClaw Mac源码安装指南:开源AI代理框架部署实战

简介:这份源码包是面向在Mac上安装配置OpenClaw的开发者的实操指南,帮助解决环境准备、CLI安装、本地模型接入与网关设置等完整流程中的常见问题。包内共3个文件,包含inscode环境配置、html说明页面以及gitignore规则文件,体积仅5…

作者头像 李华