你有没有过这种时候——深夜加班，耳机里的歌循环到麻木，脑子里冒出一段旋律却怎么也抓不住。更恼火的是，你想把它写成谱子，才发现自己连五线谱都认不全。那段时间我一直在琢磨：能不能搞一个工具，输入一句“今天很烦躁”或者“雨天的下午有点忧郁”，它就能帮我生成一段刚好配得上这种心情的旋律。于是就有了这个“智能音乐情绪生成器”：AI负责理解情绪，再用代码把情绪翻译成一段原创MIDI，最后渲染成音频。整个过程不依赖在线API，纯本地运行，从数据标注、模型训练到生成推理，全部由Python代码串联。
如果你对AI生成音乐感兴趣，或者单纯想做一个能把“情绪”变成“旋律”的小项目，这篇文章应该能给你一整条可落地的技术路线。文中涉及的模型、代码、参数都是我在实际项目里反复调过的，踩过的坑也会一一交代，你可以直接把它当成一份完整的项目复盘来读。
1. 一个听歌上头的夜晚：项目起因与整体设计
先说这个项目为什么值得做。市面上已经有不少音乐生成工具，但大多数是“给一段输入，还你一段风格统一但跟心情无关”的背景乐。我要的不是风格模板，而是能跟随情绪变化的旋律。所以核心问题变成了：机器怎么理解人的情绪，又怎么把情绪翻译成几个音符的排列组合？
真正动手之前，我先想清楚了三个必须回答的问题：
- 情绪在音乐里是怎么体现的？快乐通常是快节奏、大调、音程跳跃多，悲伤则相反——慢、小调、旋律下行。这是可以用数据去学出来的规律。
- 机器怎么从音频里知道一首歌的情绪？得先提取声学特征，再用分类模型去映射到情绪标签。
- 如何生成旋律？生成式模型很多，但个人项目里数据量不大，LSTM是起步最快、最容易调通的选择。
基于这三个问题，我把整个系统设计成了一条五段式流水线：文本或情绪标签输入 → 文本情感分析 → 情绪标签 → 条件LSTM旋律生成器 → MIDI渲染为音频。情绪分类负责“听”，旋律生成负责“写”，文本分析负责“读心”，三者合成一个完整的“情绪翻译机”。
架构听起来复杂，拆开来看每一环其实都不算深。最花时间的是数据准备和两套模型的训练，后面几章会重点展开。整体上我希望它能做到：输入“想哭”，输出类似肖邦夜曲气质的小调慢旋律；输入“荷尔蒙爆棚”，输出速度快、音域宽、节奏密集的段落。这个目标不算大，但足够把一个技术闭环完整走通。
2. 数据是燃料：自建音乐情绪数据集的完整流程
做AI的第一原则：没有数据，一切模型都是空中楼阁。音乐情绪生成器需要两套数据：一套是带有情绪标注的音频，用来训练“情绪分类器”；另一套是MIDI旋律序列，用来训练“旋律生成器”。两部分可以来自同一个数据源，但处理方式完全不同。
2.1 MIDI数据的来源与清洗
我最终选择了MAESTRO数据集，这是钢琴演奏的MIDI录音数据集，包含超过200小时演奏，版权相对干净，结构也规范。如果你想做更现代的风格，可以用Lakh MIDI Dataset，但那里面的MIDI质量参差不齐，清洗成本很高。个人项目优先用小而干净的MAESTRO。
拿到MIDI文件后，第一件事是清洗。原始MIDI可能有多条音轨，还有鼓点和控制器信息，这些对旋律生成是噪声。我用mido库读取MIDI，只保留钢琴轨，并降采样到固定速度，同时过滤掉音量力度过低的事件。这里有一个关键决策：我生成的是单音旋律线（monophonic），也就是同一时刻只有一个音符在响。这不是因为复调做不出来，而是单音能让LSTM的序列长度和情绪特征都更容易控制。
清洗后的MIDI需要转成序列。我用了一个简单的编码方式：把每个音符映射为一个整数，范围是0到127，对应MIDI音高；休止符单独用一个特殊标记。为了让模型能感知节奏，我还在序列里插入了时值信息，比如“音高+时值”合并成一个token，用两列数字表示。实际代码大致是这样：
import mido import numpy as np def midi_to_sequence(mid_file, max_len=500): mid = mido.MidiFile(mid_file) notes = [] current_time = 0 for msg in mid: if msg.type == 'note_on' and msg.velocity > 0: pitch = msg.note duration = msg.time # 将音高和时值打包成一个整数：pitch * 100 + min(duration, 99) token = pitch * 100 + min(int(duration), 99) notes.append(token) elif msg.type == 'note_off' or (msg.type == 'note_on' and msg.velocity == 0): continue if len(notes) > max_len: notes = notes[:max_len] else: notes = notes + [0] * (max_len - len(notes)) return np.array(notes, dtype=np.int64)注意，这个编码方式很粗糙，真实项目里我会用更复杂的“事件序列”编码，但先跑通闭环比一开始就追求完美重要得多。
2.2 音频特征提取与情绪标注
旋律生成器只看MIDI序列，情绪分类器则要处理真实音频。我从MAESTRO里把演奏渲染成WAV，再用librosa提取特征。情绪识别领域最常用的特征组合是MFCC（梅尔频率倒谱系数）+ Chroma（色度特征）+ 频谱对比度。我最终选用了Log-Mel Spectrogram作为输入，因为它在语谱图上保留了足够的音乐信息，而且可以作为二维图像喂给CNN。
情绪标注是整条数据链里最费人力的环节。我参考了Russell的二维情绪模型，用**Valence（愉悦度）和Arousal（唤醒度）**把情绪分成四个象限：高愉悦高唤醒是“兴奋”，低愉悦低唤醒是“悲伤”，高愉悦低唤醒是“平静”，低愉悦高唤醒是“愤怒”。我手工听了大概300首片段，给每个片段打上四分类标签。过程很枯燥，但也有个取巧的办法：先用预训练模型粗标一遍，再由人工修正，可以省掉一半时间。
音频特征提取的代码片段如下：
import librosa import numpy as np def extract_logmel(path, n_mels=128, n_fft=2048, hop_length=512): y, sr = librosa.load(path, sr=22050, mono=True) mel = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=n_mels, n_fft=n_fft, hop_length=hop_length) log_mel = librosa.power_to_db(mel, ref=np.max) # 固定长度，比如取128帧（约3秒） if log_mel.shape[1] > 128: log_mel = log_mel[:, :128] else: log_mel = np.pad(log_mel, ((0, 0), (0, 128 - log_mel.shape[1])), mode='constant') return log_mel.reshape(128, 128, 1)这套特征和标签对齐后，构成了情绪分类器的训练集。数据量不大，但做四分类足够用了。
3. 让机器听懂情绪：音频情感分类模型从零训练
音乐情绪分类本质上是一个音频分类任务。很多人会直接调用现成的识别接口，我一开始也试过，但很快放弃了。一是在线接口延迟不稳定，二是返回的标签粒度太粗，往往只有“happy/sad”两三个维度。自己训练模型不但可以完全控制类别，还能离线运行，把整个项目保持在一个自包含的Python环境里。
3.1 模型结构：我为什么选了一个“小号CNN”
当时选项有两个方向：一是用VGGish等预训练模型提取特征再接浅层分类器，二是自己从零训练一个CNN。第一个方向代码量少，但需要下载几百兆的预训练权重，而且特征提取和情绪标签的适配度不一定好。第二个方向训练更可控，数据量不大也不至于过拟合。我最后用了一个极简的CNN架构，输入是128×128的Log-Mel图，经过三层卷积池化，展平后接两层全连接，输出4类概率。效果能到82%左右的准确率，对个人项目来说已经够用。
模型定义代码如下：
import tensorflow as tf from tensorflow.keras import layers, models def build_emotion_net(input_shape=(128, 128, 1), num_classes=4): model = models.Sequential([ layers.Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=input_shape), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activation='relu', padding='same'), layers.MaxPooling2D((2, 2)), layers.Conv2D(128, (3, 3), activation='relu'), layers.GlobalAveragePooling2D(), layers.Dense(128, activation='relu'), layers.Dropout(0.3), layers.Dense(num_classes, activation='softmax') ]) return modelGlobalAveragePooling2D是我刻意选用的，它比Flatten之后接全连接层参数更少，对过拟合的压制效果很明显。训练时我把数据按6:2:2拆成训练、验证、测试，类别不均衡问题通过给损失函数加权重解决。
3.2 训练细节：数据增强与类别权重
音乐情绪数据和图像不一样，加一点噪声、改变播放速度，情绪并不会变，但模型对鲁棒性的要求很高。我用librosa.effects.pitch_shift做了音高平移，又叠加了高斯白噪声。这样训练出来的模型不会把某个录音室的特定噪声当成情绪特征。
类别不均衡也是必然的。“悲伤”类样本特别多，“愤怒”类特别少，如果不处理，模型会偷懒把所有样本都预测成悲伤。我给每类样本的loss乘了一个权重，权重按样本数的倒数归一化。代码里就是class_weight参数：
history = model.fit( train_spectrograms, train_labels, validation_data=(val_spectrograms, val_labels), epochs=60, batch_size=32, class_weight={0: 1.0, 1: 1.4, 2: 0.8, 3: 1.8} # 具体数值按分布调整 )训练收敛后，测试集准确率大约82%，混淆矩阵里最容易混淆的是“平静”和“悲伤”——低唤醒状态下情绪边界本身就模糊，这个结果可以接受。
4. 用代码谱写旋律：条件LSTM生成器的设计与调参
情绪分类器只负责“听懂”音乐，真正的主角是旋律生成器。我使用了条件LSTM，它做的事情很简单：给定一串历史音符和当前的情绪标签，预测下一个音符的概率分布。生成的时候从分布里采样，这样就得到了一段新旋律。
4.1 旋律的表示：把音高、时值变成一个token序列
这个项目的生成器不需要复读机一样背谱，而是学习音符之间的转移规律。所以我先把MIDI转成了整数序列，每个token用pitch * 100 + duration的方式压缩。这样音高和时值被编码在一个整数里，模型只需输出一个词表概率。
词表大小大概在7000左右，由于没有特别大的模型，我在Embedding层把每个token映射到128维向量。训练时把一个段落的全部token作为输入，预测同序列的下一个token。核心代码：
from tensorflow.keras import layers, models def build_generator(vocab_size=8000, n_steps=128, emotion_dim=8): note_input = layers.Input(shape=(n_steps,), name='notes') emotion_input = layers.Input(shape=(emotion_dim,), name='emotion') x = layers.Embedding(vocab_size, 128)(note_input) x = layers.LSTM(256, return_sequences=True)(x) x = layers.LSTM(256)(x) # 将情绪向量拼接到LSTM输出上 combined = layers.Concatenate()([x, emotion_input]) x = layers.Dense(256, activation='relu')(combined) out = layers.Dense(vocab_size, activation='softmax')(x) model = models.Model([note_input, emotion_input], out) return model这里的关键是“情绪怎么进去”。我用了拼接方式：LSTM把整段序列编码成一个向量，然后和情绪标签的嵌入向量拼接，再接全连接输出。这个做法的好处是模型结构简单，情绪信息对整个序列生成的方向都有影响，而不是只在某一个时间步起作用。
4.2 把情绪“告诉”生成器：条件向量的设计
情绪标签本身是离散的，不能直接输入。最方便的做法是用Embedding层把“兴奋、悲伤、平静、愤怒”映射成8维向量，然后作为条件输入。但我在实际实验中发现，直接拼接embedding向量，模型容易“忘记”情绪，导致生成结果四个类都差不多。
后来我把条件向量复制成跟序列长度一样，与LSTM每个时间步的输出都拼接。这样情绪信息在每个时间步都在“提醒”生成器。具体实现是用RepeatVector，在训练时耗费点内存，但效果明显：
emotion_repeat = layers.RepeatVector(n_steps)(emotion_input) # 这样在时间维度上扩展，再和LSTM的中间输出拼接用这个办法之后，“悲伤”类别生成的小调倾向明显增强，音高均值也降低了不少。实践证明，条件注入方式比模型结构本身更影响生成质量。
4.3 生成过程的温度采样与情绪参数控制
模型训练完后，生成阶段需要决定从概率分布中挑哪个token。如果每次取概率最大的，旋律会变成呆板的教科书式音阶。我用了经典的温度采样（temperature sampling）：
def sample_with_temperature(logits, temperature=1.0): logits = logits / temperature exp_logits = np.exp(logits - np.max(logits)) probs = exp_logits / np.sum(exp_logits) return np.random.choice(len(probs), p=probs)温度小于1会增强确定性，旋律更稳固；大于1会增加跳跃，听起来更有戏剧性。惊喜的是，不同情绪天然适合不同的温度：悲伤我喜欢用0.8，让它稳定在小调的氛围里；兴奋用1.1，让音程跨度大一些，有种不安分的感觉。除了温度，我还根据情绪类别限定了初始音符的范围，比如悲伤类从较低音区起步，兴奋类从中高音区起步，这算是一个便宜有效的先验约束。
5. 集成输出：从一句文字到一段成品音乐的全流程
两套模型都训练好之后，剩下的工作就是写一个可用的入口，让用户输入情绪描述，输出一段WAV音频。这块看着简单，实际串起来时还是有几个容易卡壳的细节。
5.1 文本输入怎么变成情绪标签
我一开始图省事，想用深度学习做文本情感分类，但数据量不够。后来发现一个小巧的办法：直接用情感词典的方式，把输入文本和情绪词进行匹配。中文可以预先准备一份情绪词典，英文可以直接用textblob库获取polarity，然后映射到四个标签。
def map_text_to_emotion(text): # 一个极简的规则映射，够用就好 sad_words = ['哭', '累', '难过', '孤独', '忧伤'] happy_words = ['开心', '兴奋', '爽', '幸福'] calm_words = ['安静', '平静', '放松', '温柔'] angry_words = ['愤怒', '生气', '烦', '暴躁'] for word in sad_words: if word in text: return 'sad' # ... return 'calm'如果是含混合情绪的句子，我建议先做分句，分别打标签，然后在生成阶段把情绪向量加权融合。这样可以做出“高唤醒+低愉悦”这种更复杂的情绪组合，但第一版你完全可以从四选一开始。
5.2 MIDI生成、渲染与混音实践
生成模型输出的token序列需要逆变换成MIDI音符，再写进MIDI文件。我用mido或者midiutil都行，但从模型输出到MIDI，最容易出问题的是时值信息在逆变换时被丢掉。我在序列编码时把时值压在了个位数上，所以恢复时要做pitch = token // 100、duration = token % 100。
MIDI文件本身不是音频，为了让用户直接能听，我用fluidsynth加载一个音色库（SoundFont），把MIDI合成WAV。个人项目不需要昂贵硬件，用免费的音色库就够了。合成代码：
import os import subprocess def midi_to_wav(midi_path, wav_path): subprocess.run([ 'fluidsynth', '-ni', soundfont_path, midi_path, '-F', wav_path ], check=True)到这里，整个闭环已经打通：一句话进去，一条旋律出来，还带着情绪特征的明显倾向。我还加了一个小工具函数，让它循环生成多个候选，然后通过情绪分类器对生成的音频做“反向验证”——如果生成的音乐被情绪分类器识别成了用户输入的目标情绪，才算一次成功生成。这个设计帮我省了很多人工试听的精力。
6. 实测效果与踩坑实录：那些让人想砸电脑的问题
项目做到这个程度，最有价值的部分不是模型本身，而是过程中趟过的一个个坑。我按崩溃程度从轻到重讲几个。
6.1 训练LSTM时loss反复震荡
第一次训练旋律生成器时，loss在前20轮不停跳动，怎么也降不下去。排查了很久，发现问题是token序列里休止符占比太高，导致大多数样本预测的都是同一个token，梯度被带偏。解决方法是给序列做截断时权重采样，确保每个训练序列都包含足够多的有效音符，同时对停顿token在损失函数里降权。
另外一个容易被忽略的点是Embedding尺寸。词表8000对个人项目来说已经不小，Embedding维度128刚开始偏大，模型有大量参数要学，但数据量又跟不上。后来我降到64，训练反而更稳。
6.2 温度参数高时旋律像“磕了药”
温度采样参数调到1.5以上，旋律会变成无调性乱弹，单个音符跳跃极大，甚至出现两个连续音高距离超过两个八度的“外星音乐”。听感非常糟糕。我后来规定采样后的音符和上一个音符的音程差必须在某个范围内，超了就重新采样。这属于规则后处理，简单粗暴但极其有效。
6.3 情绪条件“失效”的坑
前面说过，条件向量只拼接在最末端时，情绪对生成的影响很小。但还有一个更隐蔽的问题：数据本身。如果训练集里“悲伤”类MIDI本身调性不统一，模型学不到稳定的模式。我后来重新清洗数据，把悲伤类曲子统一成小调，兴奋类统一成大调，这才让条件真正产生可见差异。
这份“每种情绪对应调式”的约束看起来像作弊，但其实音乐理论就是无数创作者总结出来的规则，AI学习它和人类学习它没什么两样。
6.4 MIDI合成时音色和节奏“飘”
fluidsynth默认音色库如果质量差，生成的钢琴音色会带明显的混响和电声感，和模型想表达的古典气质差距很大。我换了好几个免费SoundFont，最后锁定了一个口碑不错的钢琴音色库。合成到WAV之后，还有可能因为MIDI里的时值不精确导致节奏机械感太强，建议生成后手动加一点随机化琶音或者用弹性效果器处理一下。
7. 后续还能怎么玩：从玩具到工具的扩展思路
项目到现在已经能玩了，但离真正的产品还有距离。如果继续做下去，我会优先考虑这几个方向。
首先是和弦与复调。现在只生成单音旋律，听感单薄。可以在LSTM输出后，加一个简单和弦生成规则，根据调式自动配三和弦，或者训练一个和弦生成模型。然后是风格迁移，把古典钢琴转向电子乐，其实只需要在序列编码里加入乐器和风格标记，训练出一条可控的多风格生成路径。另外，UI方面我可以写一个Web界面，把情感分类、旋律生成、音频渲染都部署到后端，让用户直接在浏览器里输入句子，这样才是真正能分享给朋友的产品形态。
如果追求更强生成能力，可以考虑用Transformer替换LSTM，效果上限会高不少，但对数据和算力的需求也水涨船高。建立在现有数据规模上，LSTM加一些规则约束反而更稳。
整个项目做下来，我最大的体会是：AI音乐生成真正困难的地方不在模型，而在数据和音乐知识的转化。数据清洗花了我接近三分之一的时间，情绪标注又花了一周，而模型训练和调参反而很快。如果你想复现这个项目，建议先从小规模数据开始，不要指望一次就把复调、情绪、风格全部塞进去。一点点抠，慢慢把每个环节调顺，你会看到输入的悲伤变成一段真正让人安静下来的旋律，那种感觉还是挺奇妙的。
