简介：面向情感分析和意见挖掘的自然语言处理研究者，这份SemEval 2014—2016系列任务数据包聚焦笔记本电脑与餐厅两个领域，涵盖2014年Task 4多目标情绪识别、2015年Task 14跨领域情感迁移以及2016年Task 12多层面细粒度情感分析，提供完整的训练与测试语料，适合用来训练、验证和横向对比各类分类模型。压缩包共14个文件，主体为12个XML格式的训练测试集，另含2个PDF标注指南；整包仅1.76MB，轻量易用，便于直接下载和解析。目前已有766人学习浏览，属于情感分析社区常用的标准评测数据。XML文件按评论文本、目标、属性、情感极性和强度等字段分层组织，可直接清洗转换为深度学习模型的输入；PDF则界定了ABSA任务的标注规范与评价口径。借助这份资源，读者能够复现经典实验结果、尝试跨域迁移与多目标情感分类，并检验规则、统计或BERT/LSTM等不同方法在该基准上的表现。
1. SemEval 数据集到底装着什么：一个压缩包背后的语义评测体系
A同学从某实验室的共享盘里拷回一个semeval数据集.zip，解压之后对着满屏的.xml、.tsv、.txt文件发呆。这里装的并不是什么私有数据，而是 SemEval 系列语义评测活动中发布的公开标注数据。SemEval 是自然语言处理领域历史最长的评测体系之一，每年围绕情感分析、文本相似度、关系抽取、讽刺识别等任务组织评测，并把这些任务的人工标注数据打包发布。简单说，这个 zip 是 NLP 从业者做实验的原料库，能替你省掉自己爬语料、清标注的几个月时间。适合谁用？做文本分类、情感分析、语义匹配的算法工程师、研究生，以及想复现论文的人。读完这篇文章，你能把它变成能直接喂给模型的训练集。
2. 拆包与结构探查：先看清是哪一届、哪个任务，再决定解析方案
2.1 用 unzip -l 和 find 快速摸清目录树，别急着解压
SemEval 的数据组织方式没有统一标准，不同年份、不同任务的打包习惯差异很大。有的压缩包顶层是一个任务目录，里面直接放train.xml、test.xml；有的按细分子任务分多个文件夹；还有的把训练集、测试集、评测脚本混在一个目录里。所以拿到 zip 之后，第一件事不是解压，而是先看一眼压缩包内部的目录结构。
# 不解压直接查看 zip 内容清单，确认顶层目录和文件数量 unzip -l semeval数据集.zip | head -50 # 解压到指定目录，避免在当前目录散落一堆文件 unzip -o semeval数据集.zip -d ./semeval_data # 查看解压后的目录树，最多两层就够 find ./semeval_data -maxdepth 2 -type f | head -30unzip -l列出的内容里，重点是看文件扩展名的分布和顶层目录名。如果看到train.xml和test.xml，基本可以确定是带结构化标注的任务；如果看到大量.tsv，多半是句子对或句子级分类任务；如果只有.txt，则需要进一步确认文本内的分隔方式。-o参数表示覆盖已存在文件，避免交互式提问卡住脚本。用-d指定解压目录是习惯动作，防止解压出来的文件直接铺满当前目录。
目录树看完之后，你要能回答三个问题：有没有明确的训练/测试划分？文件格式有几种？文件名是否带年份或任务编号？这三个答案直接决定后续解析脚本怎么写。
2.2 用 file 和 head 判断真实格式：扩展名是 txt 不代表它是纯文本
SemEval 数据集的扩展名经常有误导性。一个叫all.txt的文件，打开可能是制表符分隔的 TSV；一个叫output.xml的文件，内部可能是用转义字符包裹的 HTML 片段。只看扩展名写解析器，是第一个会让你翻车的点。正确做法是用file命令看文件类型，用head看实际内容前几行。
# 查看文件真实类型和编码，判断是 UTF-8 还是 latin-1 file ./semeval_data/train.xml ./semeval_data/all.txt # 打印前 10 行，直接观察分隔符和标签样式 head -10 ./semeval_data/all.txt # 如果是 XML，看前 20 行，确认根节点和子节点结构 head -20 ./semeval_data/train.xmlfile输出里如果出现XML 1.0 document，说明这是正经的 XML；如果显示ASCII text，但head看到的内容里有多列数据，那就要按 TSV 处理。判断 TSV 的一个快速方法是数行内制表符数量：head -1 all.txt | od -c | grep '\\t' | wc -l，大于 0 基本就是带分隔符的结构化文本。另外，file输出的编码信息很关键。早期 SemEval 数据集常用 latin-1 或 cp1252 编码，直接用 UTF-8 解析会出现乱码或直接抛UnicodeDecodeError。这一步探查做得越细，后面写解析器时越少返工。
3. 把三种主流格式读进内存：XML、TSV、纯文本的解析脚本与参数取舍
3.1 解析带实体标注的 XML：用 ElementTree 抽取句子与属性标签
SemEval 的方面级情感分析任务，比如 Aspect-Based Sentiment Analysis，是 XML 格式的典型代表。这类文件的结构大致是：一个根节点下面有多个sentence节点，每个sentence里有一段text，以及若干个aspect子节点，每个aspect上有term和polarity属性。一句话可能对应多个方面词，每个方面词的极性相互独立。
import xml.etree.ElementTree as ET # 注意：部分老数据集的 XML 带命名空间，tag 会变成 {http://...}sentence # 没有命名空间时，直接写 tag 名即可 tree = ET.parse('./semeval_data/train.xml') root = tree.getroot() rows = [] # 遍历所有 sentence 节点，每个 sentence 是一条待分析的文本 for sentence in root.findall('sentence'): text_node = sentence.find('text') text = text_node.text.strip() if text_node is not None else '' # 一个句子可能包含多个 aspect，需要全部取出 for aspect in sentence.findall('aspect'): rows.append({ 'sentence_id': sentence.get('id'), 'text': text, 'aspect_term': aspect.get('term'), 'polarity': aspect.get('polarity') })findall('sentence')查找的是当前节点的直接子节点，如果 XML 层级更深，需要改成root.iter('sentence')来做深度遍历。findtext('text')返回子节点的文本内容，比find().text更安全，因为find()找不到时返回None，直接取.text会抛异常。get('id')和get('term')用于读取节点属性，属性缺失时返回None，后续清洗阶段要处理。这套代码跑完后，rows里的每条记录就是「一个句子 + 一个方面词 + 一个极性」，已经天然完成了多标注展平。
提示：如果解析时报找不到
sentence节点，先看文件头是否声明了命名空间。有命名空间时，把findall('sentence')改成findall('{http://www.w3.org/2001/XMLSchema-instance}sentence')，或者用sentence.tag.split('}')[-1]来做兼容。
3.2 解析句子对与评分：TSV 数据集用 pandas 一行读入
语义文本相似度（STS）这类任务的公开数据集，标准格式是 TSV：每一行是一个句子对，列依次是句子对 ID、句子 A、句子 B、相似度评分。有些任务还会多加一列置信度或原文来源。这些文件多数没有表头，列名完全靠任务说明，所以读的时候要手动指定列名。
import pandas as pd df = pd.read_csv( './semeval_data/train.tsv', sep='\t', # 制表符分隔 header=None, # 多数评测文件没有表头 names=['pair_id', 'sent1', 'sent2', 'score'], # 按列顺序命名 encoding='utf-8', quoting=3 # csv.QUOTE_NONE，避免字段内引号被解析器吞掉 )header=None是关键参数。SemEval 的 TSV 文件基本不写表头，如果你不显式告诉 pandas 第一行是数据，它会把第一行当成列名，导致数据丢失一行且列名错位。names列表的长度必须和实际列数一致，列数不确定时先用pd.read_csv(..., nrows=5)试读，观察列数再补名字。quoting=3表示不处理引号转义，适合确认文件内没有引号包裹字段的情况；如果文件里文本本身包含英文引号，quoting=3会保留原始引号，后续清洗时再统一处理，这比让 pandas 自动转义更可控。
读进来之后，先检查df.info()看列类型和空值数量，再用df['score'].value_counts()看评分分布。STS 任务里相似度评分通常是 0 到 5 的浮点数，如果看到大量 0 和 5，说明数据存在明显标注偏差，训练时要做截断或分桶处理。
3.3 解析按空行分隔的纯文本语料：分块读取与标签位置确认
少部分 SemEval 任务，比如早期的一些文本分类和讽刺检测，用的是纯文本格式。每个样本占一个文本块，块与块之间用空行分隔，块内第一行是文本内容，最后一行是标签，或者标签独立放在同目录的另一个文件里。这类格式最需要谨慎，因为没有任何标准化的块内结构。
from pathlib import Path text_data = Path('./semeval_data/train.txt').read_text(encoding='utf-8') # 样本之间用空行分隔，连续空行会导致空块，用 split('\n\n') 后过滤 blocks = [b for b in text_data.strip().split('\n\n') if b.strip()] records = [] for block in blocks: lines = [line.strip() for line in block.strip().split('\n') if line.strip()] if len(lines) < 2: continue # 默认第一行是文本，最后一行是标签，具体必须先看文件头确认 records.append({ 'text': lines[0], 'label': lines[-1] })split('\n\n')是这类文件最常见的分隔方式，但要注意 Windows 换行符\r\n会导致空行判断失效。读取时用read_text(encoding='utf-8')统一把换行符转成\n，再基于\n\n切分就可靠了。if b.strip()过滤掉全空白的块，避免把文件末尾的换行当成一个空样本。标签取lines[-1]还是lines[0]，取决于具体任务的文件布局，所以必须先head看前几个块，确认文本在前还是标签在前。如果你发现标签单独放在另一个.txt文件里，那就需要按行号或 ID 去对齐，做法是先把两个文件都读成列表，然后用dict(zip(ids, labels))合并。
注意：纯文本格式的解析没有银弹。每次拿到新文件，先打印第一个块的原始内容，确认分隔符是空行还是
-----之类的标记，再决定切分逻辑。这个确认动作能省掉后续至少一个小时的排错时间。
4. 标签映射与样本清洗：把评测数据变成能直接训练的训练集
4.1 统一标签体系：大小写、缩写与数值化映射
SemEval 各任务对同一标签的命名经常不一致。同样是情感极性，有的任务写positive，有的写Positive，有的直接写pos；同样是相似度任务，有的用 0-5 连续值，有的用contradiction、neutral、entailment这类离散标签。如果不做映射，模型训练时会把positive和Positive当成两个不同的类别，凭空多出一堆稀疏类别，拉低 F1。所以解析后的第一步，是把所有字符串标签统一成数值编号。
# 情感分析任务的常见映射表 label_map = { 'positive': 0, 'negative': 1, 'neutral': 2, } # 先转小写归一化，再做映射；大小写不统一是常见坑 df['label_raw'] = df['polarity'].str.strip().str.lower() df['label_id'] = df['label_raw'].map(label_map) # 打印没映射上的标签，方便补充映射规则 unmapped = df[df['label_id'].isna()]['label_raw'].unique() print('未映射的原始标签:', unmapped)str.strip().str.lower()这一串链式调用把标签两端的空格和大小写差异全部抹平，pos这类缩写如果映射表里没有，会出现在unmapped的输出里，你再决定是把它归到positive还是单独开类。map的优点是遇到未收录键时返回NaN，不会像replace那样静默保留原值。如果你更依赖数据本身，也可以用df['label_raw'].astype('category').cat.codes直接编码，但这样会把positive和Positive分成两个编号，所以必须先归一化再用cat.codes。映射完成后，检查每个类别的样本数量，某类样本数少于 100 时，后续训练要考虑类别权重或数据增强。
4.2 一对多关系的展平与验证：一个句子有多个标注时别丢样本
解析 XML 时如果只取第一个aspect，或者用df.drop_duplicates(subset=['text'])，会把一个句子里其余的标注信息全部丢掉。SemEval 的方面级情感数据集中，一句包含多个方面词的样本占比不低，有些句子甚至同时表达了对两个不同实体的正面和负面评价。正确的做法是从解析阶段就展平，然后在清洗阶段用聚合操作验证展平结果是否合理。
import pandas as pd # 假设 df 已经是从 XML 解析出来的 DataFrame # 每组 sentence_id 里的行数，就是该句子包含的标注数量 group_counts = df.groupby('sentence_id').size() # 查看标注数量分布，确认多标注情况确实存在 print(group_counts.value_counts()) # 展平后的去重逻辑：同一个句子不同 aspect 必须保留 # 只在 text + aspect_term + polarity 完全重复时才去重 df = df.drop_duplicates(subset=['sentence_id', 'aspect_term', 'polarity'])groupby('sentence_id').size()返回的是每个句子对应的标注数量。如果输出结果显示大量句子只有 1 个标注，少量句子有 3 到 5 个标注，说明展平逻辑正确。如果所有句子都是 1，那要回头检查解析代码里是否用了find('aspect')而不是findall('aspect')，前者只取第一个子节点，是常见失误。去重时把sentence_id加进subset是关键，因为不同句子的文本可能完全相同，但它们是不同的样本，不能合并。对于没有标注的句子，多数任务会在官方说明里要求直接剔除，少数任务把它们当作neutral处理——这个决策要在代码里显式写出来，不要留给隐式逻辑。
4.3 脏数据过滤：空文本、重复样本、不可见字符的清洗套路
评测数据虽然是人工标注的，但批量发布时难免混入空文本、重复行和不可见控制字符。这些脏数据不会直接让脚本报错，但会悄悄压低模型效果。清洗的目标是把噪音控制在训练集之外，而不是等模型训练完再去解释结果为什么差。
import re def clean_text(s): if not isinstance(s, str): return '' # 合并连续空白，把换行符折叠成空格 s = re.sub(r'\s+', ' ', s).strip() # 清除不可见控制字符，包括 \x00 到 \x1f 范围 s = re.sub(r'[\x00-\x1f\x7f]', '', s) return s df['text'] = df['text'].apply(clean_text) df['aspect_term'] = df['aspect_term'].apply(clean_text) # 删除空文本样本和缺失极性样本 df = df[df['text'].str.len() > 0] df = df.dropna(subset=['polarity']) # 重复样本只保留第一条，防止训练集和验证集数据泄漏 df = df.drop_duplicates(subset=['text', 'aspect_term', 'polarity'])re.sub(r'\s+', ' ', s)把换行、制表符、连续空格统一折叠成单个空格，这一步对后面拼接句子与方面词尤其重要，否则会出现类似good food这样中间带双空格的特征。[\x00-\x1f\x7f]是 ASCII 控制字符范围，主要清除文件里混入的\x00空字符和\x1a文件结束符。dropna(subset=['polarity'])必须在drop_duplicates之前执行，否则带NaN的行会先被去重逻辑影响。去重的粒度取决于任务：情感分类可以按整句去重，句子对相似度任务则不能只看单句去重，而要看两列的组合。
5. SemEval 数据集常见问题排查：5 个让新手翻车的真实坑
5.1 中文乱码与非法字符：不是文件坏了，是编码与 XML 实体没处理
现象：用open('train.xml', encoding='utf-8')读取时报UnicodeDecodeError，或者读进来后中文标签变成一堆乱码。原因：老版本的 SemEval 数据集多采用 latin-1 或 cp1252 编码，部分中文标注数据则是 GBK 编码，还有小部分文件是 UTF-8 带 BOM，导致第一列的开头出现\ufeff隐藏字符。解决：先跑file train.xml确认编码，再在代码里显式指定。UTF-8 文件遇到 BOM 时，用encoding='utf-8-sig'读取，pandas 和普通open()都支持这个别名。XML 文件里如果出现 之类的 HTML 实体，ElementTree 会抛解析错误，解决方法是读取文本后先content.replace(' ', ' ')，再交给ET.fromstring()，而不是直接ET.parse()。
5.2 标签分布悬殊：准确率虚高，F1 却很难看
现象：训练跑完，打印 accuracy 有 85%，但打印 macro-F1 只有 0.3，换用真实业务数据测试时表现更差。原因：SemEval 有些任务的标注天然不均衡，比如讽刺检测里非讽刺样本占 80% 以上，模型只要全预测多数类就能拿到高 accuracy，但这毫无实际价值。解决：评估指标不要只看 accuracy，至少要同时算 macro-F1 和 per-class F1。训练前用train_test_split(..., stratify=y)做分层采样，保证验证集和训练集的类别比例一致。如果不均衡问题严重，给多数类降权重或对少数类做简单的过采样，都能在基线上看到明显改善。
5.3 测试集没有标签：不是文件缺失，是评测规则本来就如此
现象：解压后仔细检查，test.tsv里只有句子文本，没有评分或标签列，于是怀疑自己下载的压缩包不完整。原因：SemEval 的评测设计是参赛者提交预测结果后由组织方统一评分，所以公开的测试集天然不带标签。这是评测体系的正常规则，不是文件残缺。解决：不要等测试集标签，而是把官方训练集再切出一部分当验证集，用验证集代替测试集做效果评估。具体做法是解析完训练集后，用train_test_split(test_size=0.2, stratify=y)划分，验证集和测试集的比例根据总样本量调整，样本量少于一万时 0.2 的验证集比例是比较稳妥的起点。
5.4 不同年份的同一任务格式变了：去年的解析脚本跑不通今年数据
现象：把某开发者去年写的 XML 解析脚本直接套到今年的数据集上，findall('sentence')返回空列表，或者字段名对不上。原因：SemEval 每年每个任务的文件格式都在演进，同一个任务可能从 XML 换成 TSV，标签名也可能从polarity变成sentiment。解决：把解析脚本按年份拆开，每个版本单独维护，不要试图写一个万能解析器。在新数据集上用head -20和file命令先做结构探查，确认节点名、属性名、列数之后，再在原有脚本基础上改动。一个实用的防御手法是写一个快速校验函数：解析完后打印df.shape和df.columns，对比任务说明里的预期值，不一致就立即停止，而不是硬往下跑。
5.5 文件路径带中文或空格导致脚本报错
现象：脚本在本地跑得好好的，把semeval数据集.zip解压到一台新机器后，pd.read_csv('数据/train.tsv')报FileNotFoundError或UnicodeDecodeError。原因：Windows 默认编码与 Python 的 UTF-8 不一致，中文路径在跨平台传递时经常出问题。解决：代码里统一用pathlib.Path对象而不是字符串拼接路径，并在脚本开头加一行import os; os.chdir(Path(__file__).parent)，把工作目录固定到脚本所在位置。路径传入 pandas 时，先把Path对象用str()转成字符串，避免某些版本对Path对象的兼容性问题。如果你要在代码里硬编码相对路径，记得用./开头，不要写绝对路径，这样换机器时不会踩路径迁移的坑。
6. 进阶用法：用最少代码跑通一个基线，验证这份数据集值不值得投入
拿到一份新数据集，别急着上复杂模型，先跑一个最简单的基线来验证数据可用性。我的习惯是：用 TF-IDF 加逻辑回归做分类任务，用余弦相似度加阈值搜索做句子对任务。基线的意义不在于刷分数，而在于确认数据链路是通的——文本读进来了、标签对齐了、特征能算出来、模型能收敛。如果这个最简流程都跑不通，问题大概率出在前面章节的解析和清洗环节。
from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import f1_score # 把句子和方面词拼接成一条完整特征文本 df['full_text'] = df['text'] + ' ' + df['aspect_term'] vectorizer = TfidfVectorizer( max_features=8000, ngram_range=(1, 2), sublinear_tf=True, # 对词频做 log 缩放，弱化高频词影响 ) X = vectorizer.fit_transform(df['full_text']) y = df['label_id'] # 分层划分，保证验证集和训练集的类别分布一致 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y, ) clf = LogisticRegression(max_iter=1000, C=1.0) clf.fit(X_train, y_train) pred = clf.predict(X_test) print('macro-F1:', f1_score(y_test, pred, average='macro')) print('accuracy:', (pred == y_test).mean())max_features=8000是词表上限，数据集小的话可以降到 5000，避免高维稀疏矩阵拖慢训练。ngram_range=(1, 2)让特征同时包含单词和相邻词组合，对情感分析这类依赖短语特征的任务有明显帮助。sublinear_tf=True用1 + log(tf)替代原始词频，抑制长文档里高频词的权重膨胀——这个参数在短文本分类任务上收益不大，但在 SemEval 这种文本长度差异明显的任务上建议保留。stratify=y确保切分后正负样本比例一致，样本量小时尤其重要，否则验证集里可能一个少数类都没有。
这个流程跑完，如果 macro-F1 明显高于随机猜测水平，说明数据质量没问题，可以继续上预训练模型或更复杂的特征工程。这个数据集适不适合投入，我的判断标准是：基线的 macro-F1 至少要比多数类占比高 15 个百分点。达不到的话，复查一遍清洗步骤，再决定是做数据增强还是换数据集。这套「先基线、再深挖」的流程，几乎是我每次拿到新数据的固定动作，希望帮到你——花十分钟确认数据可用，比花两周训练一个无效模型划算得多。
本文还有配套的精品资源，点击获取
