读懂Alania Turkish Domain Text (alania-domain-text-tr)数据格式：14个字段、10大类别与4级时长分桶完全解析

• 数据集
• 语音

Alania Turkish Domain Text（仓库名alania-domain-text-tr）是 PatientDesk AI 开源的土耳其语文本转语音（TTS）数据集，收录 1,439,639 句语音助手真实会说出的句子，朗读时长约1,819 小时。本文带你从零读懂它的数据格式：14 个字段、10 大类别和 4 级时长分桶分别代表什么，以及拿到数据后如何快速上手。

📦 一、数据集速览：这个仓库里装了什么

打开仓库，你会看到非常干净的结构：6 个 Parquet 分片文件加上 README 与许可证。

它解决的是这样一个痛点：公开的土耳其语语料里，日期、时间、金额、电话号、编码、人名这类服务场景文本极少，而这恰恰是语音系统最容易出错的地方。因此这个数据集全部由机器按"语音助手会说出的话"生成，覆盖预约诊所、银行、电商物流、客服等 10 大日常服务类别。

🧩 二、数据格式：14 个字段逐列解析

每一行就是一个独立句子，所有列含义如下（license为整个语料库共享的溯源字段）：

🔑 重点看：text_raw 与 text_model 的"读法差异"

这是整个格式中最值得理解的一对"孪生字段"：

• text_raw：保留书面写法，如 "12,50 TL"、"SGK"、"2,5"。
• text_model：把书面符号展开成人真正会读出口的声音，例如 "12,50 TL" → "on iki lira elli kuruş"（十二 lira 五十 kuruş）、"2,5" → "iki buçuk"（二点五）、"SGK" → "segeka"（逐字母按土耳其语习惯连读成一个词）。

做 TTS 训练或合成时，读text_model；做文本检索、去重或统计分析时，读text_raw。v1.2 版本还依据母语者对 134 个样本的复核修正了缩写读法（如 "ATM" → "ateme"、"THY" → "teheye"），详见 README.md 的 Changelog 一节。

🪪 溯源字段：extra / source / doc_id / unit_idx

extra是一个 JSON 字段，记录每个句子属于哪个子主题（例如appointments_clinics / randevu alma，即"预约诊所 / 预约挂号"）、来自哪个生成批次、由哪个模型生成；source、doc_id、unit_idx则与其他公开语料共用同一套溯源格式，方便跨数据集拼接。

🗂️ 三、10 大类别分布：谁最多、谁最少

按行数量排序的 10 大类别如下：

可以看出数据分布"服务导向"很明显：诊所预约对话 + 数字编码两类就占了近三成——它们正是语音产品中最考验数字、日期、编码读法的场景。而long_explanations特意保留了少量长句，避免模型只会说短句。

⏱️ 四、4 级时长分桶：xs / s / m / l 是怎么来的

数据集按14.5 字符/秒的估算语速，把每句话划进 4 个时长桶（字段：bucket，秒数字段：est_dur）：

这个设计很实用：训练或合成语料时，你可以按bucket直接筛选目标长度的句子，让合成语音的长短句比例贴近真实对话（约 83% 是 6 秒以内的短 utterance，约 3% 超过 12 秒的长句）。

🏭 五、数据是怎么来的：生成与清洗全流程

README.md 的 "How it was made" 交代了完整管线：

1. 生成：使用Qwen3-30B-A3B-Instruct-2507-FP8（Apache-2.0 许可）在 vLLM 上运行，按"类别 + 子主题"逐组提示生成（2026 年 9 月）。
2. 清洗：句子切分 → 土耳其语语言识别过滤 → 长度与字符过滤 → 精确去重 + 近似去重，保证每一行都唯一。
3. 归一化：数字、日期、时间、金额、电话号码、缩写、网址全部按"口语读法"改写，生成text_model。

⚠️ 使用前的三个已知局限（同样来自 README.md）：

• 文本为机器写作，未逐行人工校对，个别句子略显生硬；
• 文中的人名、地址、电话、账号均为虚构；
• 银行与医疗相关表述不构成任何专业建议；
• 少量text_model存在归一化残留（如全大写品牌词加词缀时的转写瑕疵）。

🚀 六、快速上手：3 行代码读取你的第一句数据

from datasets import load_dataset ds = load_dataset("cloud0day3/alania-domain-text-tr", split="train") print(ds[0]["text_raw"], "->", ds[0]["text_model"])

如果想把仓库拉到本地（数据分片通过 Git LFS 存储，克隆时需保证 Git LFS 正常工作）：

git clone https://gitcode.com/hf_mirrors/cloud0day3/alania-domain-text-tr

克隆后可用 PyArrow 直接读取任意分片，例如data/part-00000.parquet，再按category、bucket、tags做筛选。

📄 七、许可证与引用方式

数据集采用CC BY 4.0许可（见 LICENSE.md）：可自由使用、共享、改编，包括商业用途，唯一要求是署名 PatientDesk AI。推荐的引用格式：

Alania Turkish Domain Text by PatientDesk AI, licensed under CC BY 4.0.

✅ 总结

一句话记忆：想要训练土耳其语音助手，就用text_model按bucket取句子；想要做文本分析，就查text_raw和category。

• 数据集
• 语音