re:Invent大会:亚马逊云科技引领生成式AI训练、推理与应用新纪元

发布:2024-12-07 09:45:53 阅读:280

在亚马逊云科技re:Invent大会的第二天,焦点转向了模型训练、推理及应用落地,其中Amazon SageMaker、Amazon Bedrock和Amazon Q成为了核心亮点。

亚马逊云科技人工智能与数据副总裁Swami Sivasubramanian表示,我们正站在生成式AI发展的十字路口,尽管道路并非总是清晰,但好奇心和为客户解决实际问题的愿望驱使我们前行。

亚马逊云科技人工智能与数据副总裁Swami Sivasubramanian

Amazon SageMaker作为构建、训练和部署ML模型的首选服务,已经吸引了数十万用户。其最新一代产品将大数据处理、快速SQL分析、机器学习以及生成式AI的关键能力整合到一个平台上,进一步提升了用户体验。

为了加速训练过程,Amazon SageMaker推出了HyperPod,它具备高度弹性,能在全栈故障时自动恢复,并提供快速检查点和主动计算资源管理功能。HyperPod的灵活训练计划和任务治理功能,分别简化了训练计划管理和计算资源利用,为客户节省了大量时间和成本。

Amazon SageMaker还推出了合作伙伴AI应用支持功能,使得合作伙伴的AI应用程序可以无缝部署在SageMaker上,为客户提供了完全托管、无需预配或管理基础设施的模型开发生命周期加速服务。

在推理方面,Amazon Bedrock旨在帮助企业构建和扩展生成式AI应用程序。它不再仅仅是一个模型库,而是涵盖了选择最佳模型、优化成本、延迟和准确性、使用自有数据定制、确保安全性和负责任AI以及构建和协调Agent等五大能力。

Amazon Bedrock功能展示

Amazon Bedrock提供了多个模型,包括poolside、Luma AI的模型以及StaBIlity AI的Stable Diffusion 3.5模型,并通过Marketplace为用户提供了访问超过100个来自领先提供商的新兴和专业基础模型的机会。Bedrock还提供了提示词缓存和提示词智能路由功能,以降低成本和延迟。同时,它支持对结构化数据的检索和GraphRAG集成,以及自动化非结构化多模态数据的转换。

Amazon Bedrock还引入了Guardrails Multimodal toxicity detection功能,进行基于策略的图片恶意内容检测,增强了多模态应用的安全性。从本周开始,Amazon Bedrock还支持多智能体协作,使得构建和协调专门的智能体来执行复杂工作流程变得简单。

在生成式AI助手方面,Amazon Q Developer成为了亚马逊云科技专家和最有能力的软件开发生成式AI助手。它支持SageMaker Canvas中的自然语言开发ML模型,特别适用于机器学习模型开发经验较少的客户。同时,Amazon Q还支持Quicksight Scenarios中的BI对复杂业务问题的自动拆解,帮助业务人员加速商业分析。

尽管产品技术服务完备,但企业在采用生成式AI时仍面临一些挑战。亚马逊云科技全球服务副总裁Uwem Ukpong总结了三大挑战:云迁移瓶颈、数据孤岛难题以及应用场景聚焦。为了帮助企业克服这些挑战,亚马逊云科技成立了生成式AI创新中心,并与客户合作完成了超过700个应用案例。

对于具备软件开发能力的客户,亚马逊云科技提供“低强度指导”,通过经验分享和建议帮助客户独立推进项目。对于缺乏开发能力或深厚技术基础的客户,亚马逊云科技则提供“白手套服务”,与客户一起构建生成式AI应用。

Uwem Ukpong强调,企业在概念验证项目中应认真评估成本与收益,分析投资回报率,并判断具体用例是否值得重点推进。

热门产品

查看更多