li-wen开发者指南：如何扩展支持其他云平台的完整教程-育师

li-wen开发者指南：如何扩展支持其他云平台的完整教程

【免费下载链接】li-wenTool for dynamic management of worker resources in OBS-Build system项目地址: https://gitcode.com/openeuler/li-wen

前往项目官网免费下载：https://ar.openeuler.org/ar/

li-wen是openEuler社区为OBS构建系统设计的动态资源管理工具，能够智能管理worker资源的申请和释放。这款工具的核心功能是在构建任务高峰期自动扩展worker节点，在空闲时释放资源，从而优化资源利用率并降低构建成本。本文将为您提供完整的扩展指南，帮助您为li-wen添加对其他云平台的支持。

📋 li-wen架构概览

在开始扩展之前，让我们先了解li-wen的整体架构。li-wen采用模块化设计，主要分为以下几个核心模块：

监控模块：负责监控OBS project状态和worker资源占用
评估模块：根据构建任务和空闲资源评估需要申请或释放的worker数量
云平台接口模块：与云平台API交互，实现资源的创建和删除
配置管理模块：管理工具的各种配置参数

上图展示了li-wen的系统架构，清晰展示了各个模块之间的协作关系。工具通过监控OBS构建状态，智能决策何时扩展或缩减worker资源。

🔍 当前华为云实现分析

li-wen目前仅支持华为云，相关实现在libs/cloud/HWCloud/ecs_servers.py文件中。让我们分析一下华为云实现的关键部分：

1. 核心类结构

华为云实现的核心是ECSServers类，它封装了所有与华为云ECS服务交互的功能：

class ECSServers(object): def __init__(self, conf_path): # 初始化配置 pass def create_servers(self, arch, flavor_level, admin_pass, count=1): # 创建服务器 pass def delete_servers(self, serverIps): # 删除服务器 pass def list_servers(self): # 列出所有服务器 pass def get_server(self, server_ip): # 获取服务器详情 pass

2. 配置结构

华为云的配置存储在libs/conf/ecs_servers.yaml中，包括：

区域和项目ID
网络配置（VPC、子网、安全组）
规格映射关系
镜像引用
查询参数

🚀 扩展其他云平台的完整步骤

步骤一：创建新的云平台模块

首先，在libs/cloud/目录下创建新的云平台目录和文件：

mkdir -p libs/cloud/AliCloud touch libs/cloud/AliCloud/ecs_servers.py

步骤二：设计统一的接口规范

为了保持代码的一致性，所有云平台实现应该遵循相同的接口规范。参考华为云的实现，定义以下必需方法：

class CloudProviderBase: """云平台基础接口类""" def create_servers(self, arch, flavor_level, admin_pass, count=1): """创建服务器实例""" raise NotImplementedError def delete_servers(self, server_ips): """删除服务器实例""" raise NotImplementedError def list_servers(self): """列出所有服务器实例""" raise NotImplementedError def get_server(self, server_ip): """获取服务器详情""" raise NotImplementedError def validate_create_fields(self, arch, flavor_level, admin_pass, count): """验证创建参数""" raise NotImplementedError

步骤三：实现阿里云ECS服务

以阿里云为例，创建一个完整的实现：

# libs/cloud/AliCloud/ecs_servers.py import json import requests from aliyunsdkcore.client import AcsClient from aliyunsdkecs.request.v20140526 import CreateInstanceRequest from aliyunsdkecs.request.v20140526 import DeleteInstanceRequest from aliyunsdkecs.request.v20140526 import DescribeInstancesRequest class AliCloudECSServers(CloudProviderBase): def __init__(self, conf_path): """初始化阿里云客户端""" # 读取配置文件 with open(conf_path, 'r') as f: self.config = yaml.safe_load(f) # 创建阿里云客户端 self.client = AcsClient( self.config['access_key_id'], self.config['access_key_secret'], self.config['region_id'] ) def create_servers(self, arch, flavor_level, admin_pass, count=1): """创建阿里云ECS实例""" # 验证参数 self.validate_create_fields(arch, flavor_level, admin_pass, count) # 获取规格映射 flavor_id = self._get_flavor_id(arch, flavor_level) image_id = self.config['flavorMapping'][arch]['imageRef'] # 创建实例请求 request = CreateInstanceRequest.CreateInstanceRequest() request.set_ImageId(image_id) request.set_InstanceType(flavor_id) request.set_SecurityGroupId(self.config['security_group_id']) request.set_VSwitchId(self.config['vswitch_id']) request.set_Password(admin_pass) request.set_Amount(count) # 设置实例名称前缀 request.set_InstanceName(f"{self.config['name_prefix']}") # 执行请求 response = self.client.do_action_with_exception(request) result = json.loads(response) return { 'code': 200, 'server_ips': self._wait_for_ips(result['InstanceIdSets']['InstanceIdSet']) } def delete_servers(self, server_ips): """删除阿里云ECS实例""" instance_ids = self._get_instance_ids(server_ips) for instance_id in instance_ids: request = DeleteInstanceRequest.DeleteInstanceRequest() request.set_InstanceId(instance_id) request.set_Force(True) try: self.client.do_action_with_exception(request) except Exception as e: log_check.error(f"删除实例失败: {e}") return {'code': 200, 'message': 'Delete successfully'} def list_servers(self): """列出所有ECS实例""" request = DescribeInstancesRequest.DescribeInstancesRequest() response = self.client.do_action_with_exception(request) instances = json.loads(response)['Instances']['Instance'] servers = [] for instance in instances: servers.append({ 'id': instance['InstanceId'], 'name': instance['InstanceName'], 'ip': instance['VpcAttributes']['PrivateIpAddress']['IpAddress'][0], 'status': instance['Status'], 'flavor': { 'vcpus': instance['Cpu'], 'ram': instance['Memory'] * 1024 # 转换为MB }, 'arch': self._get_arch_from_flavor(instance['InstanceType']) }) return {'code': 200, 'servers': servers} def _get_flavor_id(self, arch, flavor_level): """根据架构和级别获取规格ID""" return self.config['flavorMapping'][arch][flavor_level] def _wait_for_ips(self, instance_ids): """等待实例获取IP地址""" # 实现等待逻辑 pass def _get_instance_ids(self, server_ips): """根据IP获取实例ID""" # 实现IP到ID的映射 pass

步骤四：创建阿里云配置文件

在libs/conf/目录下创建阿里云配置文件：

# libs/conf/ali_ecs_servers.yaml region_id: cn-hangzhou access_key_id: YOUR_ACCESS_KEY_ID access_key_secret: YOUR_ACCESS_KEY_SECRET name_prefix: obs-worker-ali # 网络配置 vpc_id: vpc-xxxxxxx vswitch_id: vsw-xxxxxxx security_group_id: sg-xxxxxxx # 规格映射 flavorMapping: x86: imageRef: centos_7_9_x64_20G_alibase_20220322.vhd l1: ecs.g6.large l2: ecs.g6.xlarge l3: ecs.g6.2xlarge aarch64: imageRef: centos_7_9_arm64_20G_alibase_20220322.vhd l1: ecs.g6r.large l2: ecs.g6r.xlarge l3: ecs.g6r.2xlarge # 查询参数 waiting_time: 10 query_times: 18 server_boot_time: 60 max_servers_number: 500

步骤五：修改配置加载逻辑

修改main/wsdm.py中的云平台初始化逻辑，使其支持多平台：

# 在main/wsdm.py中添加云平台选择逻辑 from libs.conf import global_config def get_cloud_provider(provider_name): """根据配置获取云平台实例""" if provider_name == "HWCloud": from libs.cloud.HWCloud.ecs_servers import ECSServers conf_path = global_config.HW_CLOUD_CONFIG return ECSServers(conf_path) elif provider_name == "AliCloud": from libs.cloud.AliCloud.ecs_servers import AliCloudECSServers conf_path = global_config.ALI_CLOUD_CONFIG return AliCloudECSServers(conf_path) elif provider_name == "TencentCloud": from libs.cloud.TencentCloud.cvm_servers import TencentCVM conf_path = global_config.TENCENT_CLOUD_CONFIG return TencentCVM(conf_path) else: raise ValueError(f"不支持的云平台: {provider_name}") # 在配置文件中添加云平台选择 cloud_provider = query_config.get_value("Cloud", "provider") ecs_server = get_cloud_provider(cloud_provider)

步骤六：更新全局配置文件

在libs/conf/global_config.py中添加多平台支持：

# libs/conf/global_config.py import os BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # 华为云配置路径 HW_CLOUD_CONFIG = os.path.join(BASE_DIR, 'conf', 'ecs_servers.yaml') # 阿里云配置路径 ALI_CLOUD_CONFIG = os.path.join(BASE_DIR, 'conf', 'ali_ecs_servers.yaml') # 腾讯云配置路径 TENCENT_CLOUD_CONFIG = os.path.join(BASE_DIR, 'conf', 'tencent_cvm_servers.yaml')

步骤七：创建腾讯云实现示例

为了展示完整的扩展流程，这里也提供腾讯云的实现框架：

# libs/cloud/TencentCloud/cvm_servers.py from tencentcloud.common import credential from tencentcloud.cvm.v20170312 import cvm_client, models class TencentCVM(CloudProviderBase): def __init__(self, conf_path): """初始化腾讯云客户端""" with open(conf_path, 'r') as f: self.config = yaml.safe_load(f) # 创建凭证对象 cred = credential.Credential( self.config['secret_id'], self.config['secret_key'] ) # 创建CVM客户端 self.client = cvm_client.CvmClient(cred, self.config['region']) def create_servers(self, arch, flavor_level, admin_pass, count=1): """创建腾讯云CVM实例""" # 腾讯云API调用实现 pass def delete_servers(self, server_ips): """删除腾讯云CVM实例""" pass # 其他必需方法的实现...

🧪 测试新云平台实现

1. 单元测试

为新的云平台实现编写单元测试：

# tests/test_ali_cloud.py import unittest from unittest.mock import Mock, patch from libs.cloud.AliCloud.ecs_servers import AliCloudECSServers class TestAliCloudECSServers(unittest.TestCase): def setUp(self): self.config_path = "test_ali_config.yaml" self.provider = AliCloudECSServers(self.config_path) @patch('aliyunsdkcore.client.AcsClient') def test_create_servers(self, mock_client): """测试创建服务器""" # 模拟阿里云API响应 mock_response = { 'InstanceIdSets': { 'InstanceIdSet': ['i-1234567890abcdef'] } } mock_client.do_action_with_exception.return_value = json.dumps(mock_response) result = self.provider.create_servers('x86', 'l1', 'TestPass123!', 1) self.assertEqual(result['code'], 200) self.assertIn('server_ips', result) def test_validate_create_fields(self): """测试参数验证""" # 测试有效参数 self.provider.validate_create_fields('x86', 'l1', 'TestPass123!', 1) # 测试无效密码 with self.assertRaises(ValueError): self.provider.validate_create_fields('x86', 'l1', 'weak', 1)

2. 集成测试

创建集成测试脚本，验证新云平台与li-wen核心功能的集成：

# tests/integration_test.py import sys sys.path.append('/usr/li-wen') from main.core.auto_extend import AutoExtendWorker from libs.cloud.AliCloud.ecs_servers import AliCloudECSServers def test_ali_cloud_integration(): """测试阿里云与li-wen的集成""" # 初始化阿里云提供者 ali_provider = AliCloudECSServers('libs/conf/ali_ecs_servers.yaml') # 测试创建服务器 print("测试创建服务器...") result = ali_provider.create_servers('aarch64', 'l2', 'Test@123456', 1) print(f"创建结果: {result}") # 测试列出服务器 print("\n测试列出服务器...") servers = ali_provider.list_servers() print(f"服务器列表: {servers}") # 测试删除服务器 if result['code'] == 200 and 'server_ips' in result: print("\n测试删除服务器...") delete_result = ali_provider.delete_servers(result['server_ips']) print(f"删除结果: {delete_result}")

🔧 配置管理最佳实践

1. 环境变量配置

建议使用环境变量管理敏感信息：

# 在wsdm.service中配置环境变量 Environment=ALIYUN_ACCESS_KEY_ID=your_access_key_id Environment=ALIYUN_ACCESS_KEY_SECRET=your_access_key_secret Environment=TENCENT_SECRET_ID=your_secret_id Environment=TENCENT_SECRET_KEY=your_secret_key

2. 多环境配置

支持开发、测试、生产环境的不同配置：

# libs/conf/ali_ecs_servers_dev.yaml (开发环境) region_id: cn-hangzhou access_key_id: ${DEV_ALIYUN_ACCESS_KEY_ID} # 使用较小的规格进行测试 flavorMapping: x86: l1: ecs.g6.small l2: ecs.g6.large l3: ecs.g6.xlarge # libs/conf/ali_ecs_servers_prod.yaml (生产环境) region_id: cn-hangzhou access_key_id: ${PROD_ALIYUN_ACCESS_KEY_ID} # 使用生产规格 flavorMapping: x86: l1: ecs.g6.large l2: ecs.g6.xlarge l3: ecs.g6.2xlarge

📊 性能优化建议

1. 异步操作优化

对于云平台API调用，建议使用异步操作提高性能：

import asyncio import aiohttp class AsyncAliCloudECSServers(AliCloudECSServers): async def create_servers_async(self, arch, flavor_level, admin_pass, count=1): """异步创建服务器""" # 使用aiohttp进行异步HTTP请求 pass async def delete_servers_async(self, server_ips): """异步删除服务器""" pass

2. 连接池管理

管理云平台API连接，避免频繁创建连接：

from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry class OptimizedAliCloudECSServers(AliCloudECSServers): def __init__(self, conf_path): super().__init__(conf_path) self._setup_session() def _setup_session(self): """设置HTTP会话和连接池""" self.session = requests.Session() # 配置重试策略 retry_strategy = Retry( total=3, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504] ) adapter = HTTPAdapter( max_retries=retry_strategy, pool_connections=10, pool_maxsize=10 ) self.session.mount("https://", adapter)

🐛 常见问题排查

1. 认证失败

问题：云平台API认证失败解决方案：

检查Access Key/Secret是否正确
验证权限策略是否包含必要的ECS操作权限
确认API端点（Endpoint）配置正确

2. 网络连接问题

问题：无法连接到云平台API解决方案：

检查网络连接和防火墙设置
验证VPC和子网配置
确认安全组规则允许出站连接

3. 资源配额不足

问题：创建实例时提示配额不足解决方案：

检查云平台资源配额
联系云平台客服申请提升配额
在配置中调整max_servers_number参数

🔄 维护和更新

1. 版本兼容性

确保新云平台实现与li-wen核心代码兼容：

# 在__init__.py中添加版本检查 __version__ = "1.0.0" __cloud_providers__ = ["HWCloud", "AliCloud", "TencentCloud"] def check_compatibility(provider_name, required_version="1.0.0"): """检查云平台实现与核心版本的兼容性""" if provider_name not in __cloud_providers__: raise ValueError(f"不支持的云平台: {provider_name}") # 实现版本检查逻辑 return True

2. 配置迁移工具

提供配置迁移工具，方便用户从华为云迁移到其他云平台：

# tools/config_migrator.py def migrate_hw_to_ali(config_hw, config_ali_template): """从华为云配置迁移到阿里云配置""" # 实现配置迁移逻辑 pass

🎯 总结

通过本文的完整指南，您已经掌握了为li-wen扩展支持其他云平台的全部技能。关键步骤包括：

理解架构：熟悉li-wen的模块化设计和华为云实现
设计接口：创建统一的云平台接口规范
实现新平台：按照规范实现新的云平台类
配置管理：创建配置文件并集成到系统中
测试验证：编写单元测试和集成测试
性能优化：实施异步操作和连接池优化
问题排查：掌握常见问题的解决方法

上图展示了li-wen的开发者视图，帮助您理解各个模块之间的关系和扩展点。

li-wen的动态资源管理工具通过支持多云平台，为OBS构建系统提供了更大的灵活性和可扩展性。无论您使用华为云、阿里云还是腾讯云，都可以通过本文的指南快速实现集成，享受智能资源管理带来的效率和成本优势。

记住，良好的扩展性设计不仅让li-wen支持更多云平台，也为未来的功能扩展奠定了坚实基础。祝您在扩展li-wen支持其他云平台的过程中顺利成功！ 🚀

【免费下载链接】li-wenTool for dynamic management of worker resources in OBS-Build system项目地址: https://gitcode.com/openeuler/li-wen

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

li-wen开发者指南：如何扩展支持其他云平台的完整教程