上周还有做数据架构的朋友问我,2026年了,提实时计算平台是不是直接说Flink和Kafka就完事了。我听完只能摇头,早几年这么说还行,现在你要是真拿这套思路去做选型,大概率会把团队带进沟里。所谓“国产实时计算平台”,目前已经不是一个单纯的开源引擎或者某个商业产品能概括的概念,开源引擎、商业方案、周边生态这几条线在2026年呈现出非常明显的分层和竞合关系。这篇盘点我会用从业者的视角,把当前这一轮国产实时计算平台的格局拆开来讲清楚,重点覆盖引擎层的变化、湖仓存储的兴起、管控平台的必要性,以及几家主流云厂商商业方案的横向对比,希望能帮助准备搭实时链路或者准备换平台的团队少走一些弯路。
1. 实时计算的“国产化”是怎么从单引擎卷到全链路的
1.1 引擎层:提Flink不再是全部的答案
这里先说一个很常见的认知误区。很多团队聊实时计算平台,第一反应就是“我们用的是Flink,所以平台已经有了”。但实际上Flink只是运行层的一小部分,甚至可以说是最“不值钱”的一部分。因为Flink本身是Apache开源项目,国内无论哪家云厂商提供的Flink服务,跑的还是社区那套引擎内核,大家在执行引擎层面并没有本质上的性能代差。
那2026年的“国产实时计算平台”到底在卷什么?我的观察是,大家真正在卷的其实是三样东西:
- 第一是平台管控能力,包括作业开发、版本管理、资源隔离、弹性伸缩、监控告警这些工程化能力。
- 第二是上下游生态整合,尤其是跟数据湖、实时数仓、OLAP分析引擎之间的打通程度。
- 第三是云原生部署形态,也就是能不能在Kubernetes体系里跑得稳、扩得动、省得下成本。
换句话说,引擎曾经是技术的制高点,但现在更像是入场券。真正决定一个平台好不好用的,是引擎外面那层东西。
1.2 存储层、管控层、分析层构成的完整平台栈
我习惯把现在的实时计算平台拆成四层来看,这样更容易看清各家方案到底是在哪一层发力:
| 分层 | 核心职责 | 典型代表 |
|---|---|---|
| 引擎层 | 流式数据处理、状态管理、窗口计算 | Apache Flink、Spark Structured Streaming |
| 存储层 | 流式湖仓、增量数据存储、小文件治理 | Apache Paimon、Amoro、Apache Iceberg |
| 管控层 | 作业提交、资源管理、监控告警、开发调试 | StreamPark、各云厂商托管控制台 |
| 分析层 | 实时OLAP查询、指标服务、数据服务 | Apache Doris、StarRocks、ClickHouse |
如果你把平台选型只是当成“选哪个引擎”,那你其实只看了一层。但2026年国产开源社区和商业厂商的竞争焦点,恰恰集中在了存储层和管控层。Paimon、Amoro这类项目把流式数据湖的底座做起来了,StreamPark这类项目把自建集群的运维痛点接住了,云厂商的托管产品则试图把整条链路都包下来。可以说,现在的国产实时计算已经不是一个单点技术问题,而是一个全链路架构问题。
这个变化给选型带来的直接后果就是:你可能在一个厂商那里买引擎,但存储层选开源,管控层又自建,最后技术栈变得非常割裂。所以在往下读各个平台盘点之前,先把这个分层框架装进脑子里,后面看各家方案时会清晰很多。
2. 开源阵营:Flink仍是底盘,但真正的变量换成了湖仓与管控
2.1 Flink还是那个底座,但其演进重点已经变了
Apache Flink到今天依然是国内实时计算的事实标准,这一点没有悬念。国内几乎所有做实时计算的团队,无论业务规模大小,底层引擎基本都是Flink。但从2024年到2026年这个时间窗口,Flink本身在社区的演进更多偏向于流式湖仓的整合、检查点机制的优化,以及对云原生环境的适配。
之前很多人还纠结要不要等Flink 2.0,我个人的建议是别等,除非你有特别硬的需求正好卡在新版本特性上,否则基于稳定的1.x版本往上搭平台完全没问题。大多数团队遇到的问题,根本不是引擎版本旧,而是外围平台能力缺失。状态后端调优、反压治理、Checkpoint失败排查,这些才是日常消耗人力最多的地方。
另外要提一句,Flink虽然是Apache项目,但国内社区和商业公司在其中的话语权很高,尤其以阿里、字节等大厂贡献为主。这意味着如果你基于Flink自建平台,遇到问题在中文社区里基本都能找到对应的案例,这一点对国产技术栈的用户来说体验确实好。
2.2 Paimon把实时数仓的“存储底座”变成了国产开源新选项
如果说Flink是引擎层的地基,那Apache Paimon可以说是这两年国产开源在存储层最大的变量。它最早是Flink Table Store,后来独立出来进了Apache孵化器,定位是一个流式湖仓存储格式。简单理解,它能让你用Flink做流式写入,数据落到数据湖里之后又具备不错的更新能力和查询性能,同时能省掉大量流批两套存储的重复建设。
我见过不少团队把Paimon当作实时数仓的ODS层和DWD层存储,配合Flink CDC把业务库的变更日志实时同步进来,再往下游提供实时明细查询或指标计算。相比早期直接用Hive表或者原始Kafka做存储,Paimon对小文件管理、Compaction、流读流写这些方面都要省心得多。
当然Paimon也不是银弹。如果你对查询时延的要求是秒级甚至毫秒级,那它作为湖存储还是不如专门的OLAP引擎。但它最大的价值在于让“实时数仓”不再只有一个Kafka+内存计算这么单薄,而是真的有了一层可以落地的国产开源存储底座。
2.3 StreamPark这类管控项目,补齐了自建集群最缺的那块拼图
自建Flink集群的团队肯定都经历过这个困扰:代码写了、任务提了,但怎么管理一堆作业?谁在跑哪个版本?资源怎么隔离?告警怎么配?日志怎么看?早期大家要么写脚本硬扛,要么基于开源UI二次开发,很少有一个像样的一站式管控面板。
StreamPark(原StreamX,后来改名)解决的就是这个问题。它提供了Flink作业的提交、发布、运行、停止、日志查看、监控告警以及一些基本的资源管理能力。虽然它本身不是引擎,但对所有选择自建Flink的团队来说,管控层直接复用StreamPark可以省掉非常多的重复开发。
我自己的经验是,StreamPark很适合那种二十人以内、没有专门平台开发团队的实时计算小组。它能把作业从零散的命令行提交变成可视化的操作,而且它原生支持Flink SQL和自定义Jar两种作业模式。但要注意的是,如果你对权限体系、租户隔离、审批流有强要求,StreamPark这类社区项目的管控粒度可能达不到大型企业的标准,这种情况就得考虑云厂商托管平台或者自己在它基础上做二次开发。
2.4 Amoro等流式湖仓项目,给“湖上实时”多了一个选择
除了Paimon之外,国产开源里还有一个值得留意的方向就是Amoro(网易数帆开源的流式湖仓项目,早期叫Arctic)。它和Paimon的定位有一些重叠,但设计理念有明显的差异。Amoro更强调在已有数据湖之上做自管理、自适应、自优化的数据湖管理能力,也就是偏向于给数据湖加上流式处理能力,而不是重新定义一个存储格式。
如果你团队已经在用Iceberg构建数据湖,想在不推倒重来的前提下引入实时写入和流式更新能力,Amoro是一个值得评估的选项。但如果是新起一个实时数仓项目、没有历史包袱,Paimon和Flink的整合链路通常更顺,社区活跃度和资料丰富度也更高。
这两个项目并存其实说明了一件事:国产开源在实时湖仓领域已经进入了实质性竞争的阶段,对用户来说选择多了是好事,但也意味着你要更清楚自己的存量技术栈偏好,不要今天看这个好就上,明天看那个好又换,湖仓存储的切换成本可比换一个SQL引擎高得多。
3. 商业方案盘点:四朵主流云上的实时计算,摊开来看差别在哪里
3.1 阿里云实时计算Flink版:与开源血缘最近,但别低估版本兼容的隐性成本
阿里云实时计算Flink版是国内最早把Flink做成商业化托管产品的服务之一。因为阿里在Flink社区的深度参与,这个产品的引擎内核通常更新较快,对Flink新特性的吸收也比较积极。如果你团队已经用了一段时间开源Flink,迁移到阿里云版本的认知成本相对较低,SQL语法、API使用上基本能平滑过渡。
但这里面有一个容易踩的坑:阿里云的Flink版不完全等同于开源版。它有一些自研的增强能力、特殊的连接器实现以及平台侧的参数配置,这些在开源自建的集群上未必适用。最典型的情况是,你在云上开发调试完的作业,想迁移回本地自建集群跑,可能会遇到连接器或参数配置对不上的问题。所以选型前一定要想清楚,你是长期绑定阿里云实时计算Flink版,还是打算拿它当过渡方案。
另外从成本角度看,云上托管的费用由计算资源、存储资源和公网流量等组成,作业规模上去之后账单会比较可观。很多团队低估了长期持续运行的流任务对资源占用的累计成本,以为托管服务只是“省运维费”,结果月底看到账单才发现,资源利用率优化才是云上使用最大的省钱杠杆。
3.2 腾讯云Oceanus:生态绑定深,组件协同是最大卖点
腾讯云流计算Oceanus也是国内老牌的托管Flink服务之一。它早期从腾讯内部的海量数据处理场景沉淀出来,在产品成熟度上没有什么大问题。Oceanus最大的卖点在于和腾讯云生态的深度协同,尤其是消息队列、数据仓库、日志服务这些周边组件的打通做得比较顺。你如果整个技术栈都已经在腾讯云上,那Oceanus用起来的顺畅程度确实不是自建能比的。
Oceanus的作业托管能力里,我比较认可的是它的监控告警和作业诊断功能。对于经常被反压、Checkpoint超时折磨的团队来说,一套能直接看到作业瓶颈的可视化诊断工具非常省事。它比开源自建方案默认那一堆指标配置要直观得多,这也是托管平台体现实用价值的地方之一。
它也有自己的短板:生态相对封闭,如果你业务上需要频繁对接开源社区的新兴组件,或者有多云部署的需求,Oceanus的灵活性就比不上直接基于开源组件自建。简单来说,它是“在腾讯云体系内很省心”的方案,出了这个圈子,优势就减弱了。
3.3 华为云FusionInsight:企业数据治理视角下的实时计算
华为云的实时计算能力更多是放在FusionInsight这个智能数据湖解决方案整体里卖的。相比前面两家将Flink作为独立托管服务的方式,FusionInsight更偏向于一个企业级的数据平台全家桶,实时计算是其中的一个模块,和周边数据湖、数据治理、BI分析等能力打包在一起。
这种方案的好处是,对于传统企业或者政企客户来说,一站式的采购和交付体验通常优于自己拼装一堆开源组件。权限体系、安全审计、多租户管理这些企业刚需,在FusionInsight里是作为平台原生能力提供的,不用自己额外开发。如果你所在公司有比较严格的合规和治理要求,华为云这条路确实比直接裸用Flink要稳。
但要注意的是,全家桶模式也有代价。平台本身较重,部署和维护都需要专门的人力和知识储备,单纯的实时计算需求如果被捆绑到整个数据湖方案里,短期内反而可能显得繁琐。适合华为云FusionInsight的,更多是已经有完整大数据平台规划、希望一体化交付的企业,而不是只想跑几个流任务的小团队。
3.4 火山引擎流式计算:从字节的规模里长出来的托管服务
火山引擎的流式计算服务,背靠字节跳动在抖音、推荐场景里大规模使用Flink的工程实践,这一点是它在技术底蕴上的最大底气。“从大规模生产中长出来”意味着它在稳定性、资源利用率和调度优化方面有不少实战沉淀,尤其在应对超高吞吐、超大状态量的场景时,会比小规模团队自己搭的集群从容很多。
火山引擎流式计算对开发者的友好度在国产商业方案里算是不错的,作业开发调试、版本管理、资源观测这些配套功能比较完善。计费方式也比较灵活,有按CU或按作业资源使用的模式,对我这种习惯把成本当成选型主要维度的人来说,可选项多一点总是好的。
当然,火山引擎在实时计算这个赛道上的市场份额和前几家比还是有一定差距,生态伙伴数量、第三方解决方案的丰富程度相对有限。如果你不是已经在字节云生态内,或者没有明确的超大规模实时计算需求,它不会是我首推的尝试对象。但如果你就是冲着大规模实战经验去的,火山引擎绝对值得列入POC名单。
3.5 商业方案横向对比:别只看功能清单
我把上述几个主流的商业云托管方案的对比维度整理一下,方便大家直接对照使用:
| 对比维度 | 阿里云实时计算Flink版 | 腾讯云Oceanus | 华为云FusionInsight | 火山引擎流式计算 |
|---|---|---|---|---|
| 引擎亲和度 | 与开源Flink血缘最近 | 腾讯内部实践沉淀 | 综和治理平台一体 | 字节大规模实践驱动 |
| 部署形态 | 全托管 | 全托管 | 平台全家桶 | 全托管 |
| 监控诊断能力 | 较完善 | 优秀,作业诊断好用 | 平台级监控很强 | 调度与资源优化突出 |
| 生态开放度 | 较高但自带兼容差异 | 腾讯云生态内强 | 企业内部治理友好 | 有一定生态差距 |
| 适合场景 | 想平滑从Flink迁移上云 | 已在腾讯云技术栈内 | 政企、合规治理要求高 | 超高吞吐与大状态作业 |
| 成本特点 | 账单随作业规模线性上涨 | 中规中矩,资源要精细规划 | 叠加平台整体成本 | 计费灵活,有优化空间 |
需要特别强调一下,商业方案的功能清单看起来大同小异,但一旦进入实际压测,区别就会显现出来。同样的SQL作业,在不同云厂商的托管环境里,启动时间、反压表现、状态恢复耗时可能差异巨大。我的建议是,不要拿功能列表做最终决策,一定要拿自己最核心的、最复杂的作业去各家做一轮POC,对比实际运行效果,这个步骤能帮你规避掉80%的选型失误。
4. 按数据链路而不是按厂商目录来做选型决策
4.1 先把业务场景和链路摸清楚,再谈选型
很多团队选实时计算平台时,习惯先去看厂商官网的功能目录,比RDMA、比自动弹性、比各种连接器数量。但以我参与过的项目经验看,正确顺序应该反过来:先把你自己的数据链路画出来——数据从哪里来、经过哪些处理、到哪里去、时延要求是什么、数据量级多大、状态规模多大——然后再看哪个平台最匹配这条链路。
举例来说,如果业务是实时风控,核心诉求是毫秒级延迟和超低失败率,那你要重点考察的是引擎的状态后端性能和平台的高可用保障,而不是关注它支持多少个OLAP目标库。如果业务是实时数仓报表,核心诉求是流批一体和查询性能,那湖仓存储层和OLAP引擎的整合度就比单一引擎吞吐更关键。如果业务只是几类简单的实时指标计算,数据量也就每天几千万条,那你根本不需要上复杂商业平台,一套开源Flink加StreamPark完全能搞定。
4.2 不同团队规模的选型路径参考
我习惯把团队大致分成三类来给选型建议,你可以对号入座:
- 小型团队(指数据开发人数个位数,没有专职平台组):预算和技术人力都有限,最优解通常是云厂商的托管Flink服务,优先考虑主流的那两三家。自己搭开源集群在这个阶段很容易变成“能用但不敢升级、出了问题没人扛”的状态,人力投入产出比非常差。
- 中型团队(数据团队十到几十人,有平台开发能力):可以考虑开源引擎加自研管控的组合。这一层的团队往往已经对云厂商的账单和平台限制有足够的体感,开始倾向于用Paimon这类存储层组件加StreamPark做强管控,建立自己的技术壁垒。如果运维能力到位,成本会比全托管低一截。
- 大型企业(有专职平台团队,且对合规治理有强要求):通常需要的是企业级数据平台整体方案,或者在其基础上做深度的二次开发。华为云FusionInsight这类全家桶产品和自研平台结合的路径比较常见,关键点在于权限、审计、多租户这些管控能力必须做到位,这个是社区开源方案很难直接满足的。
4.3 用一个决策矩阵收敛你的选项
选型评审时没法穷尽所有维度,但有一个决策权重表可以参考,我一般会按这个框架给各候选平台打分:
| 决策维度 | 权重建议 | 说明 |
|---|---|---|
| 业务匹配度 | 30% | 链路时延、吞吐、状态量是否满足核心业务 |
| 运维成本 | 20% | 团队是否养得起这套系统的日常运维 |
| 生态整合度 | 20% | 上下游组件是否顺畅,能否打通现有集群 |
| 成本模型 | 15% | 长期运行的总成本,含资源利用率和账单波动 |
| 长期演进空间 | 15% | 社区活跃度、版本迭代方向是否匹配公司技术战略 |
权重可以根据自己公司的实际情况调整,但这个框架能避免你只凭“谁家文档好看”或者“谁家销售聊得热情”来做判断。尤其要克制住对最新技术热点的追逐,比如湖仓一体方案再好,如果业务场景确实用不上,那它就不该成为你选择平台的核心理由。
5. 自建与托管之间,我实际踩过的几个坑
5.1 版本漂移的坑:开源自建最容易默默腐烂
自建Flink集群最常见的坑是版本漂移。可能第一年大家统一用了某个Flink版本,过了一年半载,有人为了用新特性偷偷升级了作业依赖,有人又因为连接器兼容问题停留在旧版本,整个集群慢慢变成一个大杂烩。这个时候再出问题,排查成本呈几何级上升。
我见过最极端的情况是,一个团队里并跑着三个Flink主版本,存在多个自定义提交脚本,维护的人已经离职,新接手的人连哪些作业跑在哪个集群上都说不清楚。所以如果你真选择自建,管控层一定要一上来就统一,StreamPark这类平台即便不上,至少也要有规范化的作业提交和版本管理流程。版本统一和作业管理再怎么强调都不过分。
5.2 资源隔离的坑:托管平台一样会“吵邻居”
很多人以为上了云厂商托管服务,资源隔离问题就自动解决了。实际并非如此。托管Flink服务虽然能分配独立的计算资源,但在共享集群模式下,同一个物理节点上的多个租户之间仍然可能互相影响,尤其是网络带宽、磁盘IO这些不太好隔离的资源。
我建议在POC阶段就要实际测试极端场景:把高吞吐作业和普通作业放在同一个资源池跑,调大其中一个的并行度,观察另一个的延迟抖动情况。如果商业平台能提供比较严格的计算和存储隔离能力,那它多出来的成本是值得的;如果隔离效果一般,那资源配额规划就要做得保守一些。
5.3 存储选型错配的坑:实时计算和实时分析不是一回事
最后一个坑很有代表性:很多人把实时计算平台和实时分析引擎混为一谈,认为能算就是能查。但Flink这类流式计算引擎擅长的是连续处理,而Doris、StarRocks这类实时OLAP引擎擅长的是低延迟查询。前者是持续在跑的“加工流水线”,后者是随时响应的“检索服务”,两个东西的角色完全不同。
正确做法是把两者组合而不是二选一:Flink负责实时加工,处理后落入湖仓存储或者OLAP引擎,再由分析引擎提供服务。2026年很多团队开始采用“Flink + Paimon + StarRocks/Doris”这种国产组合链路,分别在计算、存储、分析层各取所长,这也是目前来看最成熟稳妥的实时数据平台架构模型之一。
最后再分享一个我在实际选型过程中体会到的经验:真正决定一个平台长期价值的,不是功能数量,而是它能不能让你在半年之后依然觉得好用。功能再多,如果一个作业上线要反复调试、资源管理全靠手工、出了问题没有清晰的排障路径,那这个平台最终只会变成团队的技术债务。做选型时,多花点时间在自己最痛的场景上做实测,比看任何盘点文章都管用。