今天分享的是阿里的大模型算法工程师社招面经。
背景:211硕,5年,面着面着hc没了…后面被别的组又捞起来了
自我介绍——5min
项目相关细节提问——10min
项目相关技术提问——20min * 2
(与之前的面经贴中重复的技术问题不在展示)
讲讲self-attention。(这是最高频的基础问题,既可以从结构来说,也可以从代码来说,就最普通的MHA即可)
讲讲对MoE的理解。
DeepSeek-MTP是用在训练阶段还是推理阶段的,具体过程是怎样的?(论文里是用在训练的,不过现在推理中也用的很多了,都可以说)
常见的衡量大模型推理性能的指标都有哪些?
都知道哪些vllm的优化技术?(这也是个高频问题,把你知道的vllm中所有的算法,框架优化技术都讲,千万不要只说page attention,这个问题你答的时间比较长的话,技术部分基本就结束了,直接手撕代码了)
针对真实推理场景,你都能想到哪些性能优化手段?(这种也是比较综合的问题,比较考察你对推理场景的理解)
前面已经提问了性能指标和vllm了,其实这里就可以结合前面的思路再做一些总结(重复的可以简单简述)和补充(前面遗漏的)。
不要东一嘴西一句,如果你能从整体逻辑上先分析优化点,然后再详细展开一些优化的技术,那么将是非常加分的。我提供几个方向供大家参考:
从latency这个方面来思考:
TTFT:说到延迟,最重要的一定是首字延迟,这个指标最影响用户体验,比如TP
mean latancy:比如针对PP中存在的大量bubble,采用chunked prefill,比如prefix caching
…
从throughput这个方面来思考:
- 比如continuous batching
- 比如量化
…
从并发量这个方面来思考:
比如使用MLA来减小所需显存
比如使用3d并行
…
当然了,上面提到的很多技术都是可以同时优化很多指标的。
你也可以从框架,算法,算子这3个方向去回答。这样既能展现你对技术的理解,也能衬托你对推理场景的理解。
手撕算法:二叉树的先序遍历板子题目,阿里不是太注重手撕代码,不像字节。
如何学习AI大模型?
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
这份完整版的大模型 AI 学习和面试资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段:从大模型系统设计入手,讲解大模型的主要方法;
第二阶段:在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段:大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段:大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段:大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段:以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段:以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓