https://www.youtube.com/watch?v=jwZHJthQvXo&type=snipo
Ray Summit 2024 主题演讲第一天：构建者创造AI未来
1. 现代计算机发展历程回顾
• 20年前：大数据和传统机器学习工作负载兴起，需要大型集群扩展数据处理和机器学习能力
• 10年前：深度学习和强化学习工作负载出现，机器学习平台开始发展，GPU变得不可或缺
• 5年前至今：生成式AI的出现带来五个关键趋势
2. 生成式AI的五大关键趋势
- **规模扩张：**训练先进模型所需的计算资源每年增长超过5倍，训练成本快速上升
- **数据增长：**非结构化数据（文本、音频、图像、视频）呈爆炸式增长
- **后训练技术：**超越简单的预训练和微调，包括模型剪枝、知识蒸馏和模型合并等高级技术
- **AI驱动优化：**AI技术栈的每个部分都在逐渐变成AI驱动
- **复合AI系统：**企业中出现包含数十甚至上百个模型的复杂AI系统
3. Ray作为AI计算引擎的重要性
Ray已成为全球顶尖工程师首选的AI计算引擎，解决三个核心问题：
- **计算资源管理：**处理云服务提供商多样性、硬件加速器、自动扩展等问题
- **数据管理：**高效处理和管理大规模数据集，支持多模态模型需求