【OpenHarmony】日志服务hilog

HiLog 模块

1. 模块概述

源码：https://gitee.com/openharmony/hiviewdfx_hilog

1.1 功能与目标

主要功能：
HiLog是OpenHarmony操作系统的核心日志系统，为系统框架、服务和应用程序提供统一的日志打印、记录和管理功能。

核心目标：

• 提供高效、可靠的日志记录机制
• 支持多种日志类型（APP、CORE、INIT、KMSG）
• 实现日志的分级管理（DEBUG/INFO/WARN/ERROR/FATAL）
• 提供日志流控机制，防止日志打印过载
• 支持日志落盘和压缩存储
• 提供隐私保护机制

使用场景：

• 应用程序运行状态记录
• 系统框架调试信息输出
• 用户操作行为追踪
• 系统异常和错误记录
• 性能分析和问题定位

1.2 系统位置

HiLog模块位于OpenHarmony DFX（Design For X）子系统中，是系统基础设施的核心组件。

角色定位：

• 核心模块：为整个系统提供日志基础设施
• 服务提供者：通过hilogd常驻服务提供日志收集和管理
• 工具提供者：通过hilog命令行工具提供日志查询和控制

与其他模块的关系：

• 依赖模块：bounds_checking_function、c_utils、ffrt、init、napi、zlib、runtime_core
• 被依赖模块：几乎所有OpenHarmony子系统和应用

1.3 设计思路与模式

设计思路

1. 客户端-服务端架构：采用C/S架构，客户端（应用进程）通过日志API发送日志，服务端（hilogd）负责收集、存储和管理日志。

2. 环形缓冲区设计：使用Ring Buffer存储日志，实现高效的日志写入和读取。

3. Socket通信机制：使用Unix Domain Socket实现进程间通信，确保日志传输的可靠性。

4. 分层架构：

   • 接口层：提供C/C++/JS/Rust多语言接口
   • 框架层：实现日志格式化和传输逻辑
   • 服务层：hilogd服务端实现日志管理

设计模式

1.4 系统框图

2. 模块结构

2.1 源文件与头文件

2.1.1 接口层 (interfaces/)

2.1.2 框架层 (frameworks/)

2.1.3 服务层 (services/)

hilogd服务：

hilog工具：

2.2 类、结构体、函数与方法

2.2.1 核心枚举类型

// 日志类型 (log_c.h)typedefenum{LOG_TYPE_MIN=0,LOG_APP=0,// 应用日志LOG_INIT=1,// 启动阶段日志LOG_CORE=3,// 核心服务/框架日志LOG_KMSG=4,// 内核日志LOG_ONLY_PRERELEASE=5,// 仅预发布版本LOG_TYPE_MAX}LogType;// 日志级别 (log_c.h)typedefenum{LOG_LEVEL_MIN=0,LOG_DEBUG=3,// 调试信息LOG_INFO=4,// 一般信息LOG_WARN=5,// 警告LOG_ERROR=6,// 错误LOG_FATAL=7,// 致命错误LOG_LEVEL_MAX,}LogLevel;// 控制命令 (hilog_cmd.h)enumclassIoctlCmd{INVALID=-1,OUTPUT_RQST=1,// 日志输出请求PERSIST_START_RQST,// 开始持久化PERSIST_STOP_RQST,// 停止持久化BUFFERSIZE_GET_RQST,// 获取缓冲区大小BUFFERSIZE_SET_RQST,// 设置缓冲区大小STATS_QUERY_RQST,// 查询统计信息// ... 更多命令};

2.2.2 核心结构体

// 日志标签 (log_cpp.h)usingHiLogLabel=struct{LogType type;// 日志类型unsignedintdomain;// 域IDconstchar*tag;// 标签};// 日志消息头 (hilog_cmd.h)structMsgHeader{uint8_tver;// 版本uint8_tcmd;// 命令int16_terr;// 错误码uint16_tlen;// 长度}__attribute__((__packed__));// 日志数据 (log_data.h)structHilogData{uint16_tlen;// 数据长度uint16_tversion:3;uint16_ttype:3;// 日志类型uint16_tlevel:4;// 日志级别uint16_ttagLen:6;// 标签长度uint32_ttv_sec;// 时间戳(秒)uint32_ttv_nsec;// 时间戳(纳秒)uint32_tmono_sec;// 单调时间uint32_tpid;// 进程IDuint32_ttid;// 线程IDuint32_tdomain;// 域IDchar*tag;// 标签指针char*content;// 内容指针};// 日志过滤器 (log_filter.h)structLogFilter{uint16_ttypes;// 类型过滤uint16_tlevels;// 级别过滤boolblackDomain;// 域黑名单模式uint8_tdomainCount;// 域数量uint32_tdomains[MAX_DOMAINS];// 域列表boolblackTag;// 标签黑名单模式uint8_ttagCount;// 标签数量chartags[MAX_TAGS][MAX_TAG_LEN];// 标签列表boolblackPid;// PID黑名单模式intpidCount;// PID数量uint32_tpids[MAX_PIDS];// PID列表charregex[MAX_REGEX_STR_LEN];// 正则表达式};

2.2.3 核心类

HiLog类 (C++接口)

namespaceOHOS::HiviewDFX{classHiLogfinal{public:staticintDebug(constHiLogLabel&label,constchar*fmt,...);staticintInfo(constHiLogLabel&label,constchar*fmt,...);staticintWarn(constHiLogLabel&label,constchar*fmt,...);staticintError(constHiLogLabel&label,constchar*fmt,...);staticintFatal(constHiLogLabel&label,constchar*fmt,...);};}

HilogBuffer类 (环形缓冲区)

classHilogBuffer{public:usingLogMsgContainer=std::list<HilogData>;usingReaderId=uintptr_t;HilogBuffer(boolisSupportSkipLog);~HilogBuffer();size_tInsert(constHilogMsg&msg,bool&isFull);std::optional<HilogData>Query(constLogFilter&filter,constReaderId&id,inttailCount=0);ReaderIdCreateBufReader(std::function<void()>onNewDataCallback);voidRemoveBufReader(constReaderId&id);int32_tDelete(uint16_tlogType);int64_tGetBuffLen(uint16_tlogType);int32_tSetBuffLen(uint16_tlogType,uint64_tbuffSize);private:size_t sizeByType[LOG_TYPE_MAX];LogMsgContainer hilogDataList;std::shared_mutex hilogBufferMutex;std::map<ReaderId,std::shared_ptr<BufferReader>>m_logReaders;};

LogCollector类 (日志收集器)

classLogCollector{public:explicitLogCollector(HilogBuffer&buffer);voidInsertDropInfo(constHilogMsg&msg,intdroppedCount);size_tInsertLogToBuffer(constHilogMsg&msg);voidonDataRecv(constucred&cred,std::vector<char>&data,intdataLen);voidSetLogFlowControl(boolon);voidSetDebuggable(boolon);private:HilogBuffer&m_hilogBuffer;boolcountEnable;boolflowControl;booldebug;};

LogPersister类 (日志持久化)

classLogPersister:publicstd::enable_shared_from_this<LogPersister>{public:staticstd::shared_ptr<LogPersister>CreateLogPersister(HilogBuffer&buffer);~LogPersister();staticintKill(uint32_tid);staticintQuery(std::list<LogPersistQueryResult>&results);staticintRefresh(uint32_tid);staticvoidClear();intInit(constPersistRecoveryInfo&msg,boolrestore);intDeinit();voidStart();voidStop();private:std::unique_ptr<LogCompress>m_compressor;std::unique_ptr<LogPersisterRotator>m_fileRotator;std::thread m_persisterThread;HilogBuffer&m_hilogBuffer;};

ServiceController类 (服务控制器)

classServiceController{public:staticconstexprintMAX_DATA_LEN=2048;ServiceController(std::unique_ptr<Socket>communicationSocket,LogCollector&collector,HilogBuffer&hilogBuffer,HilogBuffer&kmsgBuffer);~ServiceController();voidCommunicationLoop(std::atomic<bool>&stopLoop,constCmdList&list);private:voidHandleOutputRqst(constOutputRqst&rqst);voidHandlePersistStartRqst(constPersistStartRqst&rqst);voidHandleBufferSizeGetRqst(constBufferSizeGetRqst&rqst);voidHandleStatsQueryRqst(constStatsQueryRqst&rqst);// ... 更多处理函数std::unique_ptr<Socket>m_communicationSocket;LogCollector&m_logCollector;HilogBuffer&m_hilogBuffer;HilogBuffer&m_kmsgBuffer;};

LogCompress类 (日志压缩 - 策略模式)

classLogCompress{public:LogCompress()=default;virtual~LogCompress()=default;virtualintCompress(constLogPersisterBuffer&inBuffer,LogPersisterBuffer&compressBuffer)=0;staticstd::stringCompressType2Str(uint16_tcompressType);staticuint16_tStr2CompressType(conststd::string&str);};classNoneCompress:publicLogCompress{intCompress(...)override;};classZlibCompress:publicLogCompress{intCompress(...)override;};classZstdCompress:publicLogCompress{intCompress(...)override;};

Socket类 (网络通信)

classSocket{public:explicitSocket(intsocketType);~Socket();boolCloseHandler();intCreate();intWrite(constchar*data,unsignedintlen);intRead(char*buffer,unsignedintlen);protected:intsocketHandler;uint32_tsocketType;structucredsocketCred;};classSocketClient:publicSocket{public:SocketClient(std::string serverPath,uint32_tsocketType);intConnect();private:sockaddr_un serverAddr;};classSocketServer{public:SocketServer(conststd::string&socketName,uint32_tsocketType);intInit();intListen(unsignedintbacklog);intAccept();};

2.2.4 核心函数

C语言接口函数

// 日志打印intHiLogPrint(LogType type,LogLevel level,unsignedintdomain,constchar*tag,constchar*fmt,...);// 日志级别检查boolHiLogIsLoggable(unsignedintdomain,constchar*tag,LogLevel level);// 设置日志回调voidLOG_SetCallback(LogCallback callback);// 设置最低日志级别voidHiLogSetAppMinLogLevel(LogLevel level);// 获取最后一条致命日志constchar*GetLastFatalMessage(void);

宏定义接口

// C语言宏#defineHILOG_DEBUG(type,...)((void)HILOG_IMPL((type),LOG_DEBUG,LOG_DOMAIN,LOG_TAG,__VA_ARGS__))#defineHILOG_INFO(type,...)((void)HILOG_IMPL((type),LOG_INFO,LOG_DOMAIN,LOG_TAG,__VA_ARGS__))#defineHILOG_WARN(type,...)((void)HILOG_IMPL((type),LOG_WARN,LOG_DOMAIN,LOG_TAG,__VA_ARGS__))#defineHILOG_ERROR(type,...)((void)HILOG_IMPL((type),LOG_ERROR,LOG_DOMAIN,LOG_TAG,__VA_ARGS__))#defineHILOG_FATAL(type,...)((void)HILOG_IMPL((type),LOG_FATAL,LOG_DOMAIN,LOG_TAG,__VA_ARGS__))// C++宏#defineHiLogDebug(label,fmt,...)HILOG_IMPL(label.type,LOG_DEBUG,label.domain,label.tag,fmt,##__VA_ARGS__)#defineHiLogInfo(label,fmt,...)HILOG_IMPL(label.type,LOG_INFO,label.domain,label.tag,fmt,##__VA_ARGS__)#defineHiLogWarn(label,fmt,...)HILOG_IMPL(label.type,LOG_WARN,label.domain,label.tag,fmt,##__VA_ARGS__)#defineHiLogError(label,fmt,...)HILOG_IMPL(label.type,LOG_ERROR,label.domain,label.tag,fmt,##__VA_ARGS__)#defineHiLogFatal(label,fmt,...)HILOG_IMPL(label.type,LOG_FATAL,label.domain,label.tag,fmt,##__VA_ARGS__)

2.3 类图

2.4 模块内部依赖框图

3. 模块间交互

3.1 交互描述

3.1.1 与应用进程的交互

• 通信方式：Unix Domain Socket (SOCK_DGRAM)
• Socket名称：hilogInput
• 数据格式：HilogMsg结构体
• 交互流程：应用调用HiLog API → 格式化日志 → 通过Socket发送到hilogd

3.1.2 与hilog工具的交互

• 输出Socket：hilogOutput(用于日志查询)
• 控制Socket：hilogControl(用于配置和管理)
• 通信协议：基于MsgHeader的请求-响应模式

3.1.3 与内核的交互

• 交互方式：读取/dev/kmsg设备文件
• 数据处理：LogKmsg类解析内核日志格式并转换为HilogData

3.1.4 外部依赖

3.1.5 多线程处理

hilogd服务使用多线程架构：

3.2 外部依赖框图

4. 状态机转换图

4.1 状态机模型

HiLog模块包含多个状态机，主要涉及：

1. hilogd服务状态机
2. 日志持久化任务状态机
3. 流控状态机

4.2 状态机树图

4.3 状态切换规则

4.3.1 hilogd服务状态机

4.3.2 日志持久化任务状态机

4.3.3 流控状态机

4.4 状态机转换图

4.4.1 hilogd服务状态机

4.4.2 日志持久化任务状态机

4.4.3 流控状态机

5. 接口设计

5.1 公共接口

5.1.1 C语言接口

HiLogPrint - 日志打印

/** * @brief 打印日志 * @param type 日志类型 (LOG_APP/LOG_CORE/LOG_INIT等) * @param level 日志级别 (LOG_DEBUG/LOG_INFO/LOG_WARN/LOG_ERROR/LOG_FATAL) * @param domain 域ID (APP: 0-0xFFFF, CORE: 0xD000000-0xD0FFFFF) * @param tag 日志标签 * @param fmt 格式化字符串 * @return 成功返回写入字节数，失败返回-1 */intHiLogPrint(LogType type,LogLevel level,unsignedintdomain,constchar*tag,constchar*fmt,...);

HiLogIsLoggable - 检查日志级别

/** * @brief 检查指定域和标签的日志是否可打印 * @param domain 域ID * @param tag 日志标签 * @param level 日志级别 * @return true: 可打印, false: 不可打印 */boolHiLogIsLoggable(unsignedintdomain,constchar*tag,LogLevel level);

LOG_SetCallback - 设置日志回调

/** * @brief 设置用户自定义日志处理回调 * @param callback 回调函数指针，NULL表示取消回调 * @since 11 */voidLOG_SetCallback(LogCallback callback);// 回调函数类型定义typedefvoid(*LogCallback)(constLogType type,constLogLevel level,constunsignedintdomain,constchar*tag,constchar*msg);

HiLogSetAppMinLogLevel - 设置最低日志级别

/** * @brief 设置应用进程的最低日志级别 * @param level 日志级别 * @since 15 */voidHiLogSetAppMinLogLevel(LogLevel level);

GetLastFatalMessage - 获取最后一条致命日志

/** * @brief 获取最后一条FATAL级别日志 * @return 日志内容字符串 */constchar*GetLastFatalMessage(void);

5.1.2 C++接口

HiLog类静态方法

namespaceOHOS::HiviewDFX{classHiLogfinal{public:/** * @brief 打印DEBUG级别日志 * @param label 日志标签结构体 * @param fmt 格式化字符串 * @return 成功返回写入字节数，失败返回-1 */staticintDebug(constHiLogLabel&label,constchar*fmt,...);/** * @brief 打印INFO级别日志 */staticintInfo(constHiLogLabel&label,constchar*fmt,...);/** * @brief 打印WARN级别日志 */staticintWarn(constHiLogLabel&label,constchar*fmt,...);/** * @brief 打印ERROR级别日志 */staticintError(constHiLogLabel&label,constchar*fmt,...);/** * @brief 打印FATAL级别日志 */staticintFatal(constHiLogLabel&label,constchar*fmt,...);};}

5.1.3 宏接口

C语言宏

// 使用前需定义 LOG_DOMAIN 和 LOG_TAG#defineLOG_DOMAIN0x0001#defineLOG_TAG"MyModule"// 日志打印宏HILOG_DEBUG(LOG_CORE,"Debug message: %{public}d",value);HILOG_INFO(LOG_CORE,"Info message: %{public}s",str);HILOG_WARN(LOG_CORE,"Warning message");HILOG_ERROR(LOG_CORE,"Error message: %{private}s",privateData);HILOG_FATAL(LOG_CORE,"Fatal error!");

C++宏

// 定义日志标签constexprHiLogLabel LABEL={LOG_CORE,0xD001234,"MyModule"};// 日志打印宏HiLogDebug(LABEL,"Debug: %{public}d",value);HiLogInfo(LABEL,"Info: %{public}s",str);HiLogWarn(LABEL,"Warning");HiLogError(LABEL,"Error: %{private}s",data);HiLogFatal(LABEL,"Fatal!");

5.2 数据交换接口

5.2.1 Socket通信协议

消息头格式

structMsgHeader{uint8_tver;// 协议版本，当前为0uint8_tcmd;// 命令类型 (IoctlCmd枚举值)int16_terr;// 错误码uint16_tlen;// 数据长度}__attribute__((__packed__));

日志输出请求/响应

// 请求structOutputRqst{uint16_theadLines;// 显示头部行数uint16_ttypes;// 日志类型过滤uint16_tlevels;// 日志级别过滤boolblackDomain;// 域黑名单模式uint8_tdomainCount;// 域数量uint32_tdomains[MAX_DOMAINS];// 域列表boolblackTag;// 标签黑名单模式uint8_ttagCount;// 标签数量chartags[MAX_TAGS][MAX_TAG_LEN];// 标签列表boolblackPid;// PID黑名单模式intpidCount;// PID数量uint32_tpids[MAX_PIDS];// PID列表charregex[MAX_REGEX_STR_LEN];// 正则表达式boolnoBlock;// 非阻塞模式uint16_ttailLines;// 显示尾部行数}__attribute__((__packed__));// 响应structOutputRsp{uint16_tlen;// 数据长度uint8_tlevel;// 日志级别uint8_ttype;// 日志类型uint32_tpid;// 进程IDuint32_ttid;// 线程IDuint32_tdomain;// 域IDuint32_ttv_sec;// 时间戳(秒)uint32_ttv_nsec;// 时间戳(纳秒)uint32_tmono_sec;// 单调时间uint8_ttagLen;// 标签长度boolend;// 是否结束chardata[];// 标签和内容}__attribute__((__packed__));

持久化任务请求/响应

// 开始持久化请求structPersistStartRqst{OutputRqst outputFilter;// 日志过滤条件uint32_tjobId;// 任务IDuint32_tfileSize;// 单文件大小uint16_tfileNum;// 文件数量charfileName[MAX_FILE_NAME_LEN];// 文件名charstream[MAX_STREAM_NAME_LEN];// 压缩算法}__attribute__((__packed__));// 停止持久化请求structPersistStopRqst{uint32_tjobId;// 任务ID (0表示停止所有)}__attribute__((__packed__));

5.3 接口调用时序图

5.3.1 日志打印时序图

5.3.2 日志查询时序图

5.3.3 持久化任务启动时序图

5.3.4 hilogd服务启动时序图

附录

A. 常量定义

B. 错误码定义

C. hilog命令行参数