原文:
towardsdatascience.com/key-roles-in-a-fraud-prediction-project-with-machine-learning-565a01c98274?source=collection_archive---------17-----------------------#2024-06-11
开发欺诈预测的机器学习模型需要哪些角色?
https://medium.com/@ebrahimian.mahsaa?source=post_page---byline--565a01c98274--------------------------------https://towardsdatascience.com/?source=post_page---byline--565a01c98274-------------------------------- Mahsa Ebrahimian
·发布于Towards Data Science ·阅读时间:5 分钟·2024 年 6 月 11 日
–
https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/163bddd7cdafa6051ca5d17ca5f9b652.png
图片来自Marvin Meyer在Unsplash
在开发工业界的机器学习项目时,数据科学家和机器学习工程师通常是最突出的角色。然而,现实情况是,要交付产品需要集体协作。在上一篇文章中,我们讨论了使用机器学习开发欺诈预测产品的步骤。在本文中,我们将探讨此类项目中的各种角色以及每个角色如何为项目的成功做出贡献。免责声明:并非所有项目都会有与下面列出的确切职务相符的团队或个人;根据公司结构,一个人可能会兼任多个角色并履行多个职能。这里,我根据自己参与不同欺诈预测项目的经验,概述了这个结构。
项目经理
项目经理的角色既关键又充满挑战。他们负责项目的规划和执行。在项目开始时,他们帮助定义计划并根据相关方的要求和技术团队的能力设定截止日期。在项目过程中,他们持续监控进度。如果实际任务或交付情况偏离计划,他们需要及时提出并与团队协调。因此,他们大部分时间都在与不同的团队、高层经理和业务相关方进行沟通。他们工作的两个主要挑战是:
技术团队之间的相互依赖:这使得角色充满挑战,因为一个团队的输出(例如,数据工程师负责摄取数据)作为另一个团队的输入(例如,数据科学家使用这些数据)。第一步的任何延迟或变化都会影响到第二步。项目经理虽然通常不具备过多的技术背景,但需要意识到这些变化,并确保团队之间的有效沟通。
竞争的业务优先级:业务相关方通常会改变优先级,或者不同团队之间可能会有需要对齐的竞争优先级。项目经理必须应对这些变化,并协调各个团队保持项目的进度。
通过有效管理这些挑战,项目经理在机器学习项目的成功交付中发挥了关键作用。
欺诈分析师
欺诈分析师的领域专业知识和经验对欺诈预测模型的开发和评估至关重要。从项目开始时,他们就提供有关当前欺诈趋势、常见欺诈场景、警示信号以及例外或“绿旗”的见解。数据科学家在特征创建/工程阶段将这些知识融入其中。一旦模型投入生产运行,就需要持续监控以保持或提高性能。在这一阶段,欺诈分析师在识别模型的真阳性或假阳性方面至关重要。此识别可以通过对客户历史的详细调查或通过联系客户确认来进行。欺诈分析师的反馈对于反馈循环过程是不可或缺的。
高层管理(合规、战略、营销等的首席官员)
高层管理者和 C 级高管在机器学习/人工智能欺诈项目的成功中起着至关重要的作用。他们的支持对于消除障碍和在项目战略方向上达成共识至关重要。因此,他们需要定期了解项目的进展,以便根据项目的具体需求支持在必要团队、工具和流程上的投资,并确保适当的资源得到分配。此外,他们还负责确保内部和外部各方对数据隐私及符合行业标准的合规性承担责任。通过培育问责文化并提供清晰的领导,他们帮助确保项目实现目标并与组织的整体战略顺利整合。他们的参与对于解决任何监管问题、管理风险以及推动项目成功实施和长期可持续性至关重要。
数据工程师
数据工程师为我们(数据科学家)提供构建模型所需的数据,这是任何机器学习项目中的关键步骤。他们负责设计和维护数据管道,无论是实时数据流还是数据仓库中的批处理流程。数据工程师从项目开始时就参与其中,识别数据需求、数据来源、处理需求以及数据可访问性的服务水平协议(SLA)要求。
他们构建管道以收集、转换和存储来自不同来源的数据,基本上处理 ETL 过程。他们还管理和维护这些管道,解决可扩展性要求、监控数据质量、优化查询和流程以提高延迟,并降低成本。
数据科学家
从理论上讲,数据科学家创建机器学习算法以预测业务的各种信息。实际上,我们在一天中的工作角色是多种多样的。我们首先识别业务问题,理解数据和可用资源,并定义解决方案,将其转化为技术要求。
数据科学家与数据工程师和 MLOps 工程师紧密合作,以实施解决方案。我们还与业务利益相关者合作,传达结果并获取反馈。模型评估是另一项关键责任,涉及选择合适的指标来评估模型的性能,持续监控和报告其表现,并留意性能的衰退。
持续改进的过程是数据科学家角色的核心,确保模型在时间推移中保持准确性和相关性。
Mlops 工程师
一旦数据工程师和数据科学家构建了数据管道和模型,就该将模型投入生产环境。MLOps 工程师在这一阶段发挥着至关重要的作用,他们弥合了开发和运维之间的鸿沟。在欺诈预测的背景下,时效性至关重要,因为业务需要在欺诈发生之前进行防范,这就要求管道过程在不到一秒钟的时间内完成。因此,MLOps 工程师确保模型能够无缝集成到生产环境中,保持可靠性和可扩展性。MLOps 工程师设计和管理部署模型所需的基础设施,实施持续集成和持续部署(CI/CD)管道,并实时监控模型的性能。他们还负责版本控制、自动化测试和模型重新训练过程,以确保模型保持最新。通过解决这些运营挑战,MLOps 工程师能够实现机器学习模型的顺利高效部署,确保它们为业务提供一致且有价值的结果。
最后一句话!
我们讨论了我在工作经验中识别的角色。这些角色根据项目的不同阶段和每个公司的具体情况有所不同。在我看来,在项目的初期,欺诈分析师、高层管理人员和数据科学家会共同合作,定义战略和需求。数据科学家在识别业务问题方面发挥着重要作用。他们与 MLOps 和工程团队合作,将业务问题转化为技术解决方案。数据工程师需要参与进来,讨论所需的管道开发。一个常见的挑战是,当这些团队之间缺乏沟通时,问题往往会在执行阶段显现出来。这可能会影响时间表和交付物的质量。因此,团队之间的整合度越高,实施和交付就会越顺利。
请在下方评论关于你公司中的角色。你的经验中有什么不同吗?