未来已来：Inkling-mlx-4bit如何推动苹果芯片成为AI研究新基建
【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit
Inkling-mlx-4bit是一个基于MLX框架的4位量化模型，它将Thinking Machines的Inkling模型（总计9750亿参数/410亿激活MoE）的文本主干部分直接从BF16检查点进行量化，实现了在Apple Silicon上的原生运行。这一创新突破为AI研究领域带来了新的可能性，让苹果芯片在AI研究中发挥更大作用。
什么是Inkling-mlx-4bit？
Inkling-mlx-4bit是一个专为Apple Silicon优化的AI模型，它采用了先进的4位量化技术，直接从BF16检查点进行转换，避免了NVFP4->INT4的二次量化步骤，因此在质量上可能略高于从NVFP4源转换的同类模型。
该模型的核心特点包括：
- 高效量化：采用MLX affine 4位量化方案（组大小64）
- 专为Apple Silicon设计：通过
mlx-lm框架实现原生运行 - 大规模参数：基于拥有9750亿总参数的Inkling模型
- 文本主干专注：目前仅包含文本解码器部分，视觉和音频编码器暂未包含
Inkling-mlx-4bit的技术规格
根据config.json文件，Inkling-mlx-4bit具有以下关键技术规格：
- 隐藏层大小：6144
- 隐藏层数：66
- 词汇表大小：201024
- 注意力头数：64
- 键值头数：8
- 模型最大长度：1048576
- 专家数量：256个路由专家，2个共享专家
- 每个token的专家数：6
这些规格表明Inkling-mlx-4bit是一个大规模的AI模型，能够处理超长文本序列，为复杂的自然语言处理任务提供强大支持。
为什么选择Inkling-mlx-4bit？
对于AI研究人员和开发者来说，Inkling-mlx-4bit提供了几个显著优势：
1. 苹果芯片优化
Inkling-mlx-4bit专为Apple Silicon设计，充分利用了苹果芯片的性能优势。这意味着研究人员可以在自己的Mac设备上运行大规模AI模型，而不必依赖昂贵的专业AI硬件。
2. 高质量量化
与其他需要经过NVFP4->INT4二次量化的模型不同，Inkling-mlx-4bit直接从BF16检查点进行量化，这有助于保持更高的模型质量和性能。
3. 创新架构
Inkling-mlx-4bit采用了混合专家模型（MoE）架构，拥有256个路由专家和2个共享专家。这种架构使模型能够在保持高性能的同时，更有效地利用计算资源。
如何开始使用Inkling-mlx-4bit？
要开始使用Inkling-mlx-4bit，首先需要克隆仓库：
git clone https://gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit虽然目前完整的加载器尚未正式发布，但一旦可用，基本使用方法如下：
from mlx_lm import load, generate model, tokenizer = load("mlx-community/Inkling-mlx-4bit") print(generate(model, tokenizer, prompt="The capital of France is", max_tokens=64))注意：自定义模型类位于转换仓库的
models/inkling_mlx.py中。在mlx-lm正式注册该模型之前，需要通过该模块的load()函数进行加载。
注意事项和限制
在使用Inkling-mlx-4bit时，需要注意以下几点：
内存要求
该模型在磁盘上约占用560GB空间，加载时需要大致相当的统一内存。这超出了目前任何单台Mac的最大内存（512GB），因此实际上需要分布式/多设备MLX设置。从这个角度看，Inkling-mlx-4bit更多是一个研究成果，展示了在Apple Silicon上运行超大规模模型的可能性。
尚未完全验证
Inkling的自定义前向传播（分解注意力+短卷积+sigmoid MoE）是基于参考的重新实现，其输出尚未与原始模型进行核对。因此，在使用过程中可能会遇到一些未预料到的问题。
功能范围
目前版本仅包含文本解码器，视觉（图像/视频）和音频编码器未包含在内。
结语
Inkling-mlx-4bit代表了AI模型在苹果芯片上部署的重要一步。尽管目前还存在一些限制，但它展示了将超大规模AI模型带到个人设备的可能性，为AI研究和应用开辟了新的方向。
随着技术的不断进步和硬件的持续发展，我们有理由相信，苹果芯片将在未来的AI研究中扮演越来越重要的角色，而Inkling-mlx-4bit正是这一趋势的先锋。
对于希望在苹果设备上探索大规模AI模型的研究人员和开发者来说，Inkling-mlx-4bit无疑提供了一个令人兴奋的起点。我们期待看到社区如何利用这一工具，推动AI研究的边界，创造出更多创新的应用和解决方案。
了解更多关于Inkling模型设计的信息，请参考博客：https://huckiyang.github.io/blog/inkling-audio-design.html
【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
