news 2026/2/18 10:42:26

Flink SQL ALTER 语句在线演进 Table/View/Function/Catalog/Model

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink SQL ALTER 语句在线演进 Table/View/Function/Catalog/Model

1. ALTER 语句是干嘛的

ALTER 用来修改已经注册到 Catalog 里的对象定义,包括:

  1. ALTER TABLE
  2. ALTER VIEW
  3. ALTER DATABASE
  4. ALTER FUNCTION
  5. ALTER CATALOG
  6. ALTER MODEL

核心价值:让你在不重建对象的情况下,完成schema 演进、主键/水位线调整、属性参数更新、重命名等操作。

2. Java 如何执行 ALTER(和 CREATE / DROP 一样)

在 Java 中直接用TableEnvironment.executeSql()执行 ALTER,成功返回OK,失败抛异常。

EnvironmentSettingssettings=EnvironmentSettings.newInstance()...TableEnvironmenttableEnv=TableEnvironment.create(settings);tableEnv.executeSql("CREATE TABLE Orders (`user` BIGINT, product STRING, amount INT) WITH (...)");// 1) 在第一列位置新增字段tableEnv.executeSql("ALTER TABLE Orders ADD `order` INT COMMENT 'order identifier' FIRST");// 2) 一次性新增多个组件:列、主键、水位线、列位置tableEnv.executeSql("ALTER TABLE Orders ADD ("+" ts TIMESTAMP(3), "+" category STRING AFTER product, "+" PRIMARY KEY(`order`) NOT ENFORCED, "+" WATERMARK FOR ts AS ts - INTERVAL '1' HOUR"+")");// 3) 修改:类型/NOT NULL/注释/位置/水位线策略tableEnv.executeSql("ALTER TABLE Orders MODIFY ("+" amount DOUBLE NOT NULL, "+" category STRING COMMENT 'category identifier' AFTER `order`, "+" WATERMARK FOR ts AS ts"+")");// 4) 删除 watermarktableEnv.executeSql("ALTER TABLE Orders DROP WATERMARK");// 5) 删除列tableEnv.executeSql("ALTER TABLE Orders DROP (amount, ts, category)");// 6) 重命名列/表tableEnv.executeSql("ALTER TABLE Orders RENAME `order` TO order_id");tableEnv.executeSql("ALTER TABLE Orders RENAME TO NewOrders");// 7) 修改 catalog 属性tableEnv.executeSql("CREATE CATALOG cat2 WITH ('type'='generic_in_memory')");tableEnv.executeSql("ALTER CATALOG cat2 SET ('default-database'='db')");

3. ALTER TABLE:最重要、最常用的一类

3.1 支持的动作总览(记住这 6 个就够了)

ALTERTABLE[IFEXISTS]table_name {ADD...|MODIFY...|DROP...|RENAMEold_columnTOnew_column|RENAMETOnew_table_name|SET(...)|RESET(...)}

你可以把它理解为:

  • ADD:加东西(列/主键/水位线/分区/桶)
  • MODIFY:改东西(列定义/位置/主键列/水位线策略/分布)
  • DROP:删东西(列/主键/水位线/分区/分布)
  • RENAME:改名(列/表)
  • SET/RESET:改属性(connector options 等)

4. ADD:给已有表“加能力”

4.1 新增列(默认加到最后,可指定 FIRST / AFTER)

ALTERTABLEMyTableADDcategory_id STRINGCOMMENT'identifier of the category';ALTERTABLEMyTableADDnew_col STRINGFIRST;ALTERTABLEMyTableADDnew_col STRINGAFTERold_col;

4.2 一次性新增:列 + 计算列 + 主键 + Watermark

这是生产最常用的“演进组合拳”:

ALTERTABLEMyTableADD(log_ts STRINGCOMMENT'log timestamp string'FIRST,tsASTO_TIMESTAMP(log_ts)AFTERlog_ts,PRIMARYKEY(id)NOTENFORCED,WATERMARKFORtsASts-INTERVAL'3'SECOND);

4.3 新增分区(以及分区属性)

ALTERTABLEMyTableADDPARTITION(p1=1,p2='a')WITH('k1'='v1');ALTERTABLEMyTableADDPARTITION(p1=1,p2='a')WITH('k1'='v1')PARTITION(p1=1,p2='b')WITH('k2'='v2');

4.4 新增分布/桶(DISTRIBUTION)

ALTERTABLEMyTableADDDISTRIBUTIONBYHASH(uid)INTO4BUCKETS;ALTERTABLEMyTableADDDISTRIBUTIONBY(uid)INTO4BUCKETS;ALTERTABLEMyTableADDDISTRIBUTIONBY(uid);ALTERTABLEMyTableADDDISTRIBUTIONINTO4BUCKETS;

重要提醒:把某列加入主键,会隐式把该列的可空性改成 NOT NULL(nullability 会变为 false)。

5. MODIFY:改列类型、位置、注释、可空性、主键与水位线

5.1 改字段定义(类型/注释/位置)

ALTERTABLEMyTableMODIFYmeasurementDOUBLECOMMENT'unit is bytes per second'AFTERid;

5.2 改 watermark 策略、主键列、计算列

注意:被 MODIFY 的列/组件必须已存在于 schema 中。

ALTERTABLEMyTableMODIFY(log_ts STRINGCOMMENT'log timestamp string'AFTERid,tsASTO_TIMESTAMP(log_ts)AFTERlog_ts,PRIMARYKEY(id)NOTENFORCED,WATERMARKFORtsASts);

同样提醒:把某列改成主键列,也会隐式变为 NOT NULL。

6. DROP:删列 / 主键 / watermark / 分区 / 分布

ALTERTABLEMyTableDROPmeasurement;ALTERTABLEMyTableDROP(col1,col2,col3);ALTERTABLEMyTableDROPPRIMARYKEY;ALTERTABLEMyTableDROPPARTITION(`id`=1);ALTERTABLEMyTableDROPPARTITION(`id`=1),PARTITION(`id`=2);ALTERTABLEMyTableDROPWATERMARK;ALTERTABLEMyTableDROPDISTRIBUTION;

7. RENAME:改列名 / 改表名

ALTERTABLEMyTableRENAMErequest_bodyTOpayload;ALTERTABLEMyTableRENAMETOMyTable2;

8. SET / RESET:修改表属性(常用于 connector 参数)

8.1 SET:覆盖或新增属性

ALTERTABLEDataGenSourceSET('rows-per-second'='10');

8.2 RESET:恢复属性默认值

ALTERTABLEDataGenSource RESET('rows-per-second');

9. ALTER VIEW / DATABASE / FUNCTION / CATALOG / MODEL

9.1 ALTER VIEW:改名 or 改查询定义

ALTERVIEWmy_viewRENAMETOmy_view_v2;ALTERVIEWmy_viewASSELECT...;

9.2 ALTER DATABASE:更新库属性

ALTERDATABASEmy_dbSET('k1'='v1','k2'='v2');

9.3 ALTER FUNCTION:替换 UDF 标识(类路径/全限定名)+ 语言

ALTERFUNCTIONmy_udfAS'com.xxx.NewUdf'LANGUAGEJAVA;ALTERTEMPORARYSYSTEMFUNCTIONfAS'com.xxx.F'LANGUAGEJAVA;

IF EXISTS时:函数不存在就忽略,不报错。

9.4 ALTER CATALOG:SET / RESET / COMMENT

ALTERCATALOG cat2SET('default-database'='db');ALTERCATALOG cat2 RESET('default-database');ALTERCATALOG cat2COMMENT'comment for catalog ''cat2''';

9.5 ALTER MODEL:SET / RESET / RENAME

ALTERMODEL MyModelSET('model-version'='2.0','batch-size'='32');ALTERMODEL MyModel RESET('model-version','batch-size');ALTERMODEL MyModelRENAMETONewModel;

10. 最佳实践与常见坑(建议放到博客结尾)

  1. 复杂变更尽量用“一个 ALTER 多组件”:比如一次性加计算列 + watermark + 主键,避免多次演进导致不一致。
  2. 主键列会隐式 NOT NULL:这点会影响下游 sink(尤其是 upsert),提前确认数据里有没有 null。
  3. watermark 修改属于“语义级变更”:会影响窗口计算、延迟、迟到数据处理,建议在灰度环境验证。
  4. SET/RESET 特别适合做运行参数调节:例如 datagen 的速率、某些 connector 的行为开关,脚本化很好用。
  5. 尽量加IF EXISTS(表/函数等支持时):让运维脚本幂等,避免多环境重复执行失败。
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/17 2:14:04

AutoGPT镜像集成指南:如何嵌入现有业务系统?

AutoGPT镜像集成指南:如何嵌入现有业务系统? 在企业自动化需求日益增长的今天,一个常见的挑战浮出水面:如何让AI真正“替人干活”,而不是仅仅回答问题?传统的脚本或RPA工具虽然能完成固定流程,…

作者头像 李华
网站建设 2026/2/17 8:15:02

AutoGPT项目活跃度分析:GitHub星标增长趋势

AutoGPT项目活跃度分析:GitHub星标增长趋势 在生成式AI浪潮席卷全球的今天,一个名为AutoGPT的开源项目悄然走红。它不像ChatGPT那样以流畅对话吸引大众眼球,也没有Sora凭借视频生成惊艳世人,但它却在开发者社区掀起了一场静默革命…

作者头像 李华
网站建设 2026/2/17 16:18:07

AutoGPT能否生成短视频脚本?内容创作新方式

AutoGPT能否生成短视频脚本?内容创作新方式 在抖音、B站、YouTube Shorts等平台的推动下,短视频已成为信息传播的主战场。每天有数以亿计的内容被上传,而背后的创作者却常常面临一个共同困境:创意枯竭、节奏难控、资料搜集耗时——…

作者头像 李华
网站建设 2026/2/16 9:30:43

超越ChatGPT!教你开发能自主完成复杂任务的AI智能体,代码开源

👋 你好,我是 daner。 一个美好得故事 今天认识了Agent 一、一句话总结 在探索任何一个复杂概念时,我们最好从一个简洁的定义开始。在人工智能领域,智能体被定义为任何能够通过传感器(Sensors)感知其所处环…

作者头像 李华