HarmonyOS 6.1 AI融合实战：端侧智能与HiAI Foundation的极致性能

系列AI赋能篇·第36篇。变现篇后，有读者问：“现在的App都卷AI，我的电商Demo能不能也加点AI能力？比如商品图一键抠图、智能文案生成，但又怕模型太大、跑起来卡。” 这正是鸿蒙AI能力的强项。今天我们将电商Demo接入HiAI Foundation，利用端侧NPU实现商品图智能抠图（Image Segmentation）和离线智能文案生成（MindSpore Lite）。我们将解决模型转换、NPU调度、端云协同推理三大难题，实现“无感AI”——用户点击抠图，毫秒级出结果，且不消耗云端算力。全程基于API23，含官方文档未涉及的“NPU性能调优参数”和“模型量化压缩技巧”。

一、前言：为什么端侧AI是鸿蒙的“隐形王牌”？

在AI时代，很多应用的做法是把图片传到云端，调用GPT-4或Stable Diffusion，再返回结果。这种模式有三个痛点：

1. 延迟高：网络往返至少需要几百毫秒，用户体验差。

2. 成本高：云端GPU推理按调用次数收费，百万次调用就是一笔巨资。

3. 隐私风险：用户的照片上传到云端，存在隐私泄露风险。

HarmonyOS的HiAI Foundation提供了直接的NPU（神经网络处理器）访问能力。NPU是专门为AI计算设计的硬件，相比CPU/GPU，能效比提升10倍以上，延迟降低90%。

核心优势：

• 毫秒级响应：直接在手机芯片上计算，无需网络。

• 零成本：一次开发，无限次调用，无需支付云端API费用。

• 隐私安全：数据不出端，符合隐私合规要求。

今天我们将实现两个电商高频AI场景：

1. 商品图智能抠图：商家上传商品图，自动去除背景，生成白底图或透明图。

2. 智能文案生成：根据商品名称和属性，生成本地化的营销文案（如“夏日清凉必备”）。

二、核心概念辨析（端侧AI vs 云侧AI）

三、代码实现：从“云端依赖”到“端侧智能”

3.1 环境准备与模型转换

HiAI Foundation支持.om（Open Model）格式的模型。我们需要先将训练好的模型（如TensorFlow的.pb或PyTorch的.pt）转换为.om格式。

步骤：

1. 下载MindStudio（华为AI开发工具链）。

2. 使用Model Converter工具，将模型转换为支持NPU的.om模型。

3. 将转换后的模型放入entry/src/main/resources/rawfile/目录。

模型量化（关键优化）：

原始FP32模型体积大、计算慢。使用MindStudio进行INT8量化，模型体积缩小75%，推理速度提升2-3倍，精度损失<1%。

# MindStudio命令行转换示例 atc --model=unet.pb \ --framework=3 \ --output=unet_quant \ --input_shape="input:1,3,224,224" \ --soc_version=Ascend310P3 \ # 对应麒麟芯片的NPU版本 --precision_mode=force_fp16 \ # 或 INT8量化 --quantize=calibration \ # 启用量化 --calibration_data=./calibration_data.bin

3.2 商品图智能抠图（Image Segmentation）

创建entry/src/main/ets/ai/ImageSegmentation.ets：

import { hiAI } from '@kit.HiAIFoundationKit' import { image } from '@kit.ImageKit' import { BusinessError } from '@kit.BasicServicesKit' /** * 商品图智能抠图工具类 */ export class ImageSegmentation { private model: hiAI.Model | null = null private context: Context = null! private inputTensor: hiAI.Tensor | null = null private outputTensor: hiAI.Tensor | null = null /** * 初始化AI模型 */ async init(context: Context): Promise<void> { this.context = context try { // 1. 加载模型文件 const modelBuffer = await context.resourceManager.getRawFileContent('unet_quant.om') // 2. 创建模型实例，指定NPU作为首选后端 this.model = await hiAI.Model.create({ modelBuffer: modelBuffer, backend: hiAI.Backend.NPU, // 关键：使用NPU加速 priority: hiAI.Priority.HIGH // 高优先级，确保实时性 }) // 3. 准备输入输出张量 const inputShape = [1, 3, 224, 224] // NCHW格式 const outputShape = [1, 2, 224, 224] // 二分类掩码（前景/背景） this.inputTensor = await this.model.createInputTensor(inputShape, hiAI.DataType.FLOAT32) this.outputTensor = await this.model.createOutputTensor(outputShape, hiAI.DataType.FLOAT32) console.log('AI抠图模型加载成功，NPU已就绪') } catch (err) { const e = err as BusinessError console.error(`AI模型初始化失败: ${e.code}, ${e.message}`) // 降级方案：使用CPU后端 await this.fallbackToCPU() } } /** * 执行抠图 * @param pixelMap 输入的商品图片 * @returns 抠图后的透明背景图片 */ async segmentProduct(pixelMap: image.PixelMap): Promise<image.PixelMap> { if (!this.model || !this.inputTensor || !this.outputTensor) { throw new Error('AI模型未初始化') } try { // 1. 预处理：将PixelMap转换为模型输入的Tensor格式 await this.preprocessImage(pixelMap) // 2. 执行推理（NPU加速） const startTime = Date.now() await this.model.execute([this.inputTensor], [this.outputTensor]) const endTime = Date.now() console.log(`NPU推理耗时: ${endTime - startTime}ms`) // 3. 后处理：根据输出的掩码，生成透明背景图片 const resultPixelMap = await this.postprocessMask(pixelMap) return resultPixelMap } catch (err) { console.error('AI推理失败:', err) throw err } } /** * 图像预处理：缩放、归一化、转NCHW格式 */ private async preprocessImage(pixelMap: image.PixelMap): Promise<void> { // 1. 缩放到模型输入尺寸 (224x224) const scaledPixelMap = await pixelMap.scale(224, 224) // 2. 读取像素数据 (RGBA格式) const pixelBytes = await scaledPixelMap.readPixelsToBuffer() // 3. 转换为NCHW格式的Float32数组，并进行归一化 (0-1) const inputData = new Float32Array(1 * 3 * 224 * 224) // ... 像素格式转换和归一化逻辑 ... // 4. 将数据写入输入Tensor this.inputTensor?.writeData(inputData.buffer) } /** * 掩码后处理：根据模型输出的概率图，生成Alpha通道 */ private async postprocessMask(originalPixelMap: image.PixelMap): Promise<image.PixelMap> { // 1. 读取输出Tensor数据（前景概率） const maskData = await this.outputTensor!.readData() const maskProbabilities = new Float32Array(maskData) // 2. 创建新的PixelMap，设置Alpha通道 const resultPixelMap = await image.createPixelMap({ size: { height: 224, width: 224 }, pixelFormat: image.PixelMapFormat.RGBA_8888 }) // 3. 遍历每个像素，根据概率设置透明度 // 概率 > 0.5 设为不透明，否则设为透明 // ... 具体实现逻辑 ... return resultPixelMap } /** * 降级方案：使用CPU后端 */ private async fallbackToCPU(): Promise<void> { console.warn('NPU不可用，降级为CPU推理') if (this.model) { await this.model.setBackend(hiAI.Backend.CPU) } } /** * 释放资源 */ release(): void { this.model?.release() this.inputTensor?.release() this.outputTensor?.release() } }

3.3 智能文案生成（MindSpore Lite）

对于文本生成，我们可以使用轻量级的语言模型（如TinyBERT），通过MindSpore Lite在端侧运行。

创建entry/src/main/ets/ai/TextGenerator.ets：

import { mindSporeLite } from '@kit.MindSporeLiteKit' export class TextGenerator { private model: mindSporeLite.Model | null = null async init(context: Context): Promise<void> { try { // 加载轻量级文本生成模型 const modelBuffer = await context.resourceManager.getRawFileContent('tinybert.om') this.model = await mindSporeLite.Model.create(modelBuffer) console.log('文本生成模型加载成功') } catch (err) { console.error('文本生成模型加载失败:', err) } } /** * 生成商品营销文案 * @param productName 商品名称 * @param attributes 商品属性（如“夏季”、“透气”） * @returns 生成的文案 */ async generateCopywriting(productName: string, attributes: string[]): Promise<string> { if (!this.model) return '' // 1. 构建输入Prompt const prompt = `商品名称：${productName}\n特点：${attributes.join('、')}\n请生成一段吸引人的营销文案：` // 2. 分词并转换为模型输入 const inputIds = this.tokenize(prompt) // 3. 执行推理 const outputIds = await this.model.predict(inputIds) // 4. 解码为文本 const generatedText = this.detokenize(outputIds) // 5. 提取文案部分（去除Prompt） const copywriting = generatedText.replace(prompt, '').trim() return copywriting || '夏日新品，不容错过！' } // 简化的分词和还原方法（实际需集成Tokenizer） private tokenize(text: string): number[] { return [] } private detokenize(ids: number[]): string { return '' } }

3.4 UI集成：一键抠图按钮

修改ProductEditPage.ets：

import { ImageSegmentation } from '../ai/ImageSegmentation' import { image } from '@kit.ImageKit' @Entry @Component struct ProductEditPage { private segmentation: ImageSegmentation = new ImageSegmentation() @State originalImage: PixelMap | null = null @State processedImage: PixelMap | null = null @State isProcessing: boolean = false aboutToAppear(): void { this.segmentation.init(getContext(this)) } aboutToDisappear(): void { this.segmentation.release() } // 选择图片并执行抠图 async pickAndProcessImage(): Promise<void> { try { this.isProcessing = true // 1. 选择图片 const uri = await this.pickImage() this.originalImage = await image.createPixelMap(uri) // 2. 调用AI抠图 this.processedImage = await this.segmentation.segmentProduct(this.originalImage!) promptAction.showToast({ message: '抠图完成！' }) } catch (err) { console.error('抠图失败:', err) } finally { this.isProcessing = false } } build() { Column() { Text('商品图编辑') .fontSize(20) .margin({ bottom: 20 }) // 图片预览区域 Stack() { if (this.processedImage) { Image(this.processedImage) .width(200) .height(200) .borderRadius(8) } else if (this.originalImage) { Image(this.originalImage) .width(200) .height(200) .borderRadius(8) } else { Text('暂无图片') .fontColor('#999') } if (this.isProcessing) { LoadingProgress() .width(48) .height(48) } } .margin({ bottom: 20 }) Button(this.isProcessing ? '处理中...' : '一键智能抠图') .enabled(!this.isProcessing) .onClick(() => this.pickAndProcessImage()) .width('80%') .height(48) .backgroundColor('#0A59F7') .fontColor('#fff') .borderRadius(24) } .padding(16) .width('100%') .height('100%') .backgroundColor('#F5F5F5') } // 图片选择逻辑（简化） private async pickImage(): Promise<string> { return '' } }

四、踩坑记录（官方文档没写的AI细节）

1. NPU兼容性问题：不同型号的麒麟芯片（如9000S vs 9000）支持的NPU指令集不同。在atc转换模型时，必须指定正确的soc_version。如果指定的版本高于设备实际版本，模型将无法加载。解决方案是为不同芯片提供多个版本的模型，或在运行时动态检测芯片型号并加载对应模型。

2. 内存溢出（OOM）：AI模型推理时需要大量内存。特别是在处理大图片时，很容易触发OOM。解决方案：

   • 将输入图片缩放到模型要求的尺寸（如224x224）。

   • 使用Float16而非Float32精度。

   • 及时释放Tensor和Model资源。

3. 模型预热（Warm-up）：首次调用model.execute()时，NPU需要加载模型和初始化上下文，耗时较长（可能几百毫秒）。解决方案：在应用启动时，或在用户打开编辑页面的onAppear阶段，调用一次空推理（输入全零数据），进行预热。

4. CPU降级策略：并非所有设备都支持NPU（如部分老机型或模拟器）。必须在代码中实现完善的降级策略：优先使用NPU，失败则降级为GPU，最后降级为CPU。否则应用会崩溃。

5. 量化精度损失：INT8量化虽然速度快，但可能导致精度下降，比如抠图边缘出现锯齿。需要在精度和速度之间找到平衡点，或者使用混合精度（部分层FP16，部分层INT8）。