news 2026/6/24 0:31:32

【ssh】在两个远程服务器之间传输文件的便捷方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ssh】在两个远程服务器之间传输文件的便捷方法

在 Slurm 集群上,大体量的tar | ssh管道传输非常容易被系统“杀掉”,即使你人没断线,后台 I/O / 网络 / login node 的限额也会把进程 SIGKILL,导致tar 包尾部缺失 →Unexpected EOF

例如,在Slurm 集群上迁移 conda 环境(几十 GB):

❌ 不推荐:

  • tar -czf(压缩太慢、CPU+IO重)

  • tar | ssh(login node 很容易 kill)

  • 单次scp(不支持断点)

推荐靠谱方案:rsync + --partial + --inplace


具体做法:rsync+ 断点续传

这是HPC 官方推荐方式,假设源服务器服务端口为3022,目的服务器服务端口为2022。

在 2022 端口(源)执行:

rsync -avh \ --partial \ --inplace \ --delete \ --numeric-ids \ --progress \ -e "ssh -p 3022" \ #连接目的服务器端口执行命令 /home/user/miniconda3/envs/my_env/ \ #源服务器文件夹/文件地址 lzh@209.167.43.117:/home/lzh/miniconda3/envs/my_env/ #目的服务器目的地址

为什么这个一定成功?

  • --partial:中断不丢数据

  • --inplace:避免重复写(大文件关键)

  • rsync逐文件校验,不会生成损坏状态

  • 即使被 Slurm 杀掉,重新执行同一条命令会从断点继续,直至传完文件。

💡你可以反复跑这条命令,直到命令很快结束,传输文件列表为空,仅sent少量Bytes(表示没有文件可传,仅发送一些控制信息),意味着文件传完,如下:

sending incremental file list share/gdb/auto-load/home/ sent 3.68M bytes received 7.92K bytes 19.17K bytes/sec total size is 8.48G speedup is 2,298.80 (DRY RUN)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/23 21:46:22

echarts给饼图以及折线图悬浮提示框添加单位

var chartDom document.getElementById(main1);var myChart echarts.init(chartDom);var option;// 环形图option {title: {left: center},tooltip: { // 悬浮框显示trigger: item,// marker:显示标记, name:显示名称, value:显…

作者头像 李华
网站建设 2026/6/23 21:31:53

从文本到情感语音:EmotiVoice如何重塑语音合成新标准?

从文本到情感语音:EmotiVoice如何重塑语音合成新标准? 在虚拟主播直播带货、AI配音批量生成短视频、游戏角色实时“动情”对话的今天,人们对语音合成的需求早已不再满足于“把字读出来”。真正打动用户的,是那句带着笑意的问候、一…

作者头像 李华
网站建设 2026/6/23 17:34:41

GEO对决传统SEO:AI搜索时代,品牌如何赢得“心智推荐”

摘要搜索引擎的形态正在发生根本性变革。当用户习惯于向ChatGPT、Kimi、文心一言等AI直接提问“推荐一家可靠的B2B软件供应商”时,传统的SEO(搜索引擎优化)策略正在失效。品牌竞争的战场,已从网页的“关键词排名”悄然转移至AI模型…

作者头像 李华
网站建设 2026/6/23 16:00:41

极简主义知识管理新体验:Obsidian Minimal主题完全使用指南

在当今信息爆炸的时代,如何高效管理个人知识体系成为了每个学习者和创作者面临的挑战。Obsidian Minimal主题作为社区最受欢迎的知识管理界面解决方案,为Obsidian用户提供了一套专注、美观且高度可定制的工作环境。这款主题经过精心设计,不仅…

作者头像 李华
网站建设 2026/6/23 21:45:45

如何在gem5-gpu上实现全系统仿真模式 full-system mode

方法 要在全系统模式下运行基准测试,它们需要位于模拟系统可访问的磁盘镜像上(即磁盘必须由 Linux 或 Android 挂载)。如果有空间,您可以将基准测试放在您要启动的磁盘镜像上。要运行基准测试,您需要使用 gem5 终端,或者将一个 bash 风格的(.rcS)脚本参数传递给将要执…

作者头像 李华