news 2026/9/22 4:33:15

数量英文完整示例:3个实战项目攻克翻译难题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
数量英文完整示例:3个实战项目攻克翻译难题

数量英文完整示例:3个实战项目攻克翻译难题

看了一堆教程还是不会写项目?这是很多刚接触编程或自然语言处理(NLP)的朋友最真实的写照。你背熟了单词,理解了语法,但一旦要把“3个苹果”这种带有数量关系的英文文本转换成结构化数据,或者在电商系统中准确解析商品描述,瞬间就卡壳了。别慌,问题不在于你不够努力,而在于缺少一个完整示例作为骨架。

今天不聊虚的,直接上干货。我们将通过三个由浅入深的实战项目,彻底搞懂“数量英文”在工程中的处理逻辑。从最基础的字符串解析,到结合正则表达式的自动化清洗,再到利用Python库进行半结构化提取,每一步都给你最扎实的代码实现。目标只有一个:让你看完就能跑,跑完就能用。

项目目标:定义“数量英文”的工程边界

在动手之前,我们必须明确:在编程语境下,“数量英文”到底指什么?它不仅仅是“one, two, three”这些单词,更包括数字与英文量词的复杂组合,如“two hundred units”、“a dozen eggs”甚至“3.5 kilograms”。

我们的核心目标不是做一个完美的翻译机,而是构建一个能够稳定提取文本中“数量+单位”结构的小工具。这在实际开发中极为常见:

  1. 电商订单解析:用户输入“2箱牛奶,5瓶水”,后端需要拆解为 {product: 'milk', qty: 2, unit: 'box'}
  2. 日志清洗:从服务器日志中提取“Allocated 4 GB memory”中的资源配额。
  3. 库存管理:处理供应商传来的非标准格式库存报表。

这三个场景共同点在于:数据源是自然语言或半结构化文本,但我们需要的是机器可读的数值和单位。接下来的三个项目,将分别对应这三个复杂度的场景。

目录结构:搭建可复用的工程骨架

很多新手喜欢把所有代码扔进一个 main.py 里,这在学习阶段没问题,但一旦进入实战,维护噩梦就开始了。我们采用标准的模块化结构,确保代码可复用、易测试。

创建如下目录结构:

quantity_english/
├── data/
│   └── test_samples.txt      # 存放测试用的原始文本数据
├── utils/
│   ├── __init__.py
│   ├── number_parser.py      # 负责将英文单词转换为数字
│   └── unit_mapper.py        # 负责单位词的同义词映射
├── core/
│   ├── __init__.py
│   └── extractor.py          # 核心提取逻辑,调用utils模块
├── main.py                    # 入口文件,运行三个项目
└── tests/└── test_extractor.py     # 单元测试

这种结构的好处是:职责分离number_parser 只关心“two”变成2,“thirty”变成30unit_mapper 只关心“kg”、“kilogram”、“kgs”都映射到标准的“kilogram”。当需求变更时,比如增加新的单位支持,你只需要修改 unit_mapper.py,而不需要动核心提取逻辑。

核心代码实现:从正则到语义映射

这是最关键的部分。我们将分三步走,逐步构建完整示例。

第一步:基础正则提取(项目一)

最直观的方法是使用正则表达式匹配“数字+空格+单词”的模式。虽然简单,但能跑通90%的简单场景。

import redef extract_basic_quantities(text):"""基础提取:匹配 [数字] [英文单词] 的组合"""# 匹配模式:一个或多个数字,后跟一个空格,再跟一个或多个字母pattern = r'(\d+)\s+([a-zA-Z]+)'matches = re.findall(pattern, text)results = []for num_str, unit_str in matches:# 简单清洗:将单位转为小写unit = unit_str.lower()results.append({'quantity': int(num_str),'unit': unit})return results# 测试用例
sample_1 = "I have 5 apples and 3 oranges."
print(extract_basic_quantities(sample_1))
# 输出: [{'quantity': 5, 'unit': 'apples'}, {'quantity': 3, 'unit': 'oranges'}]

避坑指南:这个正则有个致命弱点,它无法处理“two apples”这种纯英文数字,也无法处理“3.5 kg”这种小数。但在处理机器生成的、格式相对固定的日志时,它足够快且轻量。

第二步:英文数字转数值(项目二)

当用户输入“two hundred boxes”时,上面的代码就失效了。我们需要一个模块将英文单词转换为阿拉伯数字。这里我们不引入庞大的NLP库,而是手写一个轻量级的映射逻辑,既高效又可控。

utils/number_parser.py 中:

class NumberParser:def __init__(self):# 基础数字映射self.number_map = {'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5,'six': 6, 'seven': 7, 'eight': 8, 'nine': 9, 'ten': 10,'eleven': 11, 'twelve': 12, 'thirteen': 13, 'fourteen': 14,'fifteen': 15, 'sixteen': 16, 'seventeen': 17, 'eighteen': 18,'nineteen': 19, 'twenty': 20, 'thirty': 30, 'forty': 40,'fifty': 50, 'sixty': 60, 'seventy': 70, 'eighty': 80, 'ninety': 90,'hundred': 100, 'thousand': 1000}self.current_value = 0self.total_value = 0def parse_english_number(self, text):"""解析英文数字文本,如 'two hundred and five' -> 205"""self.current_value = 0self.total_value = 0words = text.lower().replace(' and ', ' ').split()for word in words:if word in self.number_map:value = self.number_map[word]if value < 100:self.current_value += valueelif value == 100:if self.current_value == 0:self.current_value = 1 # 处理 'hundred'self.current_value *= valueelse: # thousandif self.current_value == 0:self.current_value = 1self.current_value *= valueself.total_value += self.current_valueself.current_value = 0# 累加剩余的部分self.total_value += self.current_valuereturn self.total_value# 测试
parser = NumberParser()
print(parser.parse_english_number("two hundred")) # 输出: 200
print(parser.parse_english_number("fifty"))       # 输出: 50

注意:这个实现是简化的,适用于常见场景。在生产环境中,如果涉及极其复杂的数字表述,建议参考 inflectword2number 等成熟库,但理解底层逻辑对你调试问题至关重要。

第三步:单位标准化映射(项目三)

“kg”、“kgs”、“kilogram”、“kilograms”在业务上是同一个概念。如果数据库里存的是“kg”,而用户输入“kilograms”,直接匹配会失败。我们需要一个标准化层。

utils/unit_mapper.py 中:

class UnitMapper:def __init__(self):# 定义同义词组,第一个值为标准名self.synonyms = {'kg': ['kg', 'kgs', 'kilogram', 'kilograms', 'kilos'],'g': ['g', 'gs', 'gram', 'grams'],'box': ['box', 'boxes', 'carton', 'cartons'],'unit': ['unit', 'units', 'piece', 'pieces', 'pcs']}# 构建反向映射:{同义词: 标准名}self.reverse_map = {}for std, syns in self.synonyms.items():for syn in syns:self.reverse_map[syn] = stddef normalize_unit(self, unit_str):"""将任意单位字符串转换为标准单位如果无法识别,返回原字符串的小写形式"""if not unit_str:return Noneunit_lower = unit_str.lower()return self.reverse_map.get(unit_lower, unit_lower)# 测试
mapper = UnitMapper()
print(mapper.normalize_unit("Kilograms")) # 输出: kg
print(mapper.normalize_unit("Boxes"))     # 输出: box
print(mapper.normalize_unit("Unknown"))   # 输出: unknown

运行与测试:验证你的完整示例

现在,我们将所有模块整合到 core/extractor.py 中,形成一个完整的提取器。

import re
import sys
sys.path.append('..') # 确保能导入utilsfrom utils.number_parser import NumberParser
from utils.unit_mapper import UnitMapperclass QuantityExtractor:def __init__(self):self.num_parser = NumberParser()self.unit_mapper = UnitMapper()# 增强正则:匹配 [数字或英文数字] [单位]# 这里简化处理,主要匹配纯数字或常见的英文数字组合# 实际生产中,正则可能更复杂,需要预处理self.pattern = r'((?:\d+\.?\d*)|(?:\w+\s+)?(?:\w+\s+)?(?:\w+))\s+([a-zA-Z]+)'def extract(self, text):matches = re.findall(self.pattern, text)results = []for num_part, unit_part in matches:# 尝试解析数字qty = self._parse_quantity(num_part)if qty is None:continue# 标准化单位std_unit = self.unit_mapper.normalize_unit(unit_part)results.append({'quantity': qty,'unit': std_unit,'raw': f"{num_part} {unit_part}"})return resultsdef _parse_quantity(self, text):text = text.strip().lower()# 1. 尝试直接转int/floattry:if '.' in text:return float(text)return int(text)except ValueError:pass# 2. 尝试英文解析# 简单启发式:如果包含已知数字单词,则尝试解析if any(word in text for word in self.num_parser.number_map):return self.num_parser.parse_english_number(text)return None# 主程序入口
if __name__ == "__main__":extractor = QuantityExtractor()test_cases = ["Order 5 boxes of milk","I need two hundred eggs","Weight is 3.5 kilograms","Send 10 units immediately"]for case in test_cases:print(f"Input: {case}")result = extractor.extract(case)print(f"Result: {result}\n")

运行结果预期: 对于 "I need two hundred eggs",程序会先尝试转int失败,然后调用 NumberParser 解析出 200,再调用 UnitMappereggs 映射(假设未定义则保留原样,或需补充 egg 到映射表)。

测试建议:不要只测快乐路径。一定要测试边界情况:

  1. 全大写输入:"FIVE BOXES"
  2. 多余空格:"5 boxes"
  3. 无单位输入:"5"
  4. 干扰文本:"I love apples. Buy 5."

优化扩展:从玩具到生产级

上述代码是一个很好的起点,但要用于生产环境,还需考虑以下几点:

  1. 性能优化: 如果文本量极大(如百万级日志),每次创建 NumberParser 对象会有开销。可以将 NumberParser 设计为单例,或者将常用的英文数字映射缓存起来。

  2. 容错机制: 如果正则匹配到了错误的组合怎么办?例如 "5 star rating",这里 "star" 不是单位。需要引入一个单位白名单。只有当匹配到的单位在白名单中时,才视为有效的数量-单位对。

    # 在 UnitMapper 中增加白名单校验
    def is_valid_unit(self, unit_str):return unit_str in self.reverse_map.keys()
    
  3. 多语言支持: 虽然本篇聚焦英文,但同样的架构可以扩展到中文。只需替换 NumberParser 为中文数字解析逻辑,UnitMapper 为中文单位映射即可。核心提取逻辑(正则+映射)保持不变。

  4. 数据持久化: 将提取结果写入数据库或CSV文件。使用 pandas 库可以轻松将 results 列表转换为 DataFrame 并导出,便于后续分析。

权威参考:在处理英文数字和单位的标准化时,建议参考 MDN Web Docs 中关于字符串处理的API文档,以及 Unicode Standard 中关于数字字符的定义。虽然MDN主要面向Web,但其对字符串规范的处理逻辑对Python字符串操作也有很好的借鉴意义,特别是在处理Unicode字符集时。

小结:从教程到项目的跨越

回顾这三个项目,我们完成了一次从“知道”到“做到”的跨越。

  1. 项目一 让你理解了正则表达式在文本提取中的基本作用。
  2. 项目二 让你掌握了如何将非结构化的英文数字转化为机器可理解的数值。
  3. 项目三 让你学会了如何通过映射表解决同义词歧义问题,这是数据清洗的核心技能。

完整示例 的价值不在于代码本身,而在于它展示了解决问题的思维路径:拆解问题 -> 模块化实现 -> 集成测试 -> 优化扩展。

很多应届生在面试中被问到“如何从非结构化文本中提取数据”,往往只能背出“用正则”或“用NLP库”。而如果你能像今天这样,清晰地讲出“我会先定义单位白名单,然后编写英文数字解析器,最后通过单元测试覆盖边界情况”,面试官会立刻意识到:你不仅懂代码,更懂工程。

这个知识点你面试被问过吗?留言说说

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/22 4:33:12

3天搭好设计管理系统避坑指南

3天搭好设计管理系统避坑指南 配置环境就卡半天?依赖版本冲突、样式加载失败、组件状态不同步,这些坑我全踩过。这份避坑指南带你从零搭建一个轻量级设计管理系统,不整虚的,直接上手。 项目目标:别想太复杂,先跑通核心链路…

作者头像 李华
网站建设 2026/9/22 4:32:57

面试被问淘宝产品上架逻辑懵了?一文搞懂核心流程与底层原理

面试被问淘宝产品上架逻辑懵了?一文搞懂核心流程与底层原理 上周刚结束一场大厂后端面试,面试官轻描淡写地甩出一句:“说说淘宝商品从创建到上架,后台到底发生了什么?”我愣了。脑子里瞬间一片空白,只能磕磕绊绊地答出“调用API”、“存数据库”这种皮毛。面试官眉头一皱,追问:“那如果库存扣减和上架状态更新不…

作者头像 李华
网站建设 2026/9/22 4:32:45

手写实现Tug核心逻辑,3步搞定配置卡点

手写实现Tug核心逻辑,3步搞定配置卡点 刚接手新项目的兄弟,是不是经常被环境配置搞到怀疑人生?明明照着文档敲,还是卡在依赖安装或端口冲突上,半天没跑通一个 Hello World。别急着骂娘,今天咱们换个思路,不纠结于那些黑盒工具链,直接 手写实现 一个极简版的 Tug…

作者头像 李华
网站建设 2026/9/22 4:32:40

q飞实战项目避坑指南:3个底层原理让你告别文档迷宫

q飞实战项目避坑指南:3个底层原理让你告别文档迷宫 官方文档翻了三遍还是云里雾里?别怪你笨,是文档本身就没把底层逻辑讲透。很多开发者在落地 q飞 相关的 实战项目 时,最大的痛苦不是代码写不出来,而是根本不知道代码为什么这么写。文档里全是 API…

作者头像 李华
网站建设 2026/9/22 4:32:24

机票上有价格吗?解析票价引擎源码最佳实践

机票上有价格吗?解析票价引擎源码最佳实践 很多后端同学接手过票务系统,或者自己搞过类似的价格计算模块,往往面临一个尴尬局面:网上搜来的代码片段,复制进项目直接报错,或者算出来的价格跟预期对不上,完全不知道从哪下手调。这种“代码跑不通,逻辑理不清”的痛苦,我见过太多次了。其实,机票价格计算并不是简单的…

作者头像 李华
网站建设 2026/9/22 4:32:16

SQL注入攻击2026最新

告别SQL注入噩梦:3个真实案例拆解的保姆级教程 官方文档翻了三遍还是搞不清预处理语句的底层逻辑?别慌,这篇保姆级教程就是为你准备的。咱们不整虚的,直接上实战中踩过的深坑和血泪教训。 1. 现象:那些让你半夜惊醒的报错与数据泄露…

作者头像 李华