机器学习

视频号

微信公众号

知识星球

Chinese, Simplified
本文地址
https://architect.pub
SEO Title
Machine Learning (ML)

【机器学习】使用数据设计:通过这个简单的框架构建可信的推荐

Chinese, Simplified

In descending order the words recommendations, trends, and data are listed in yellow, purple, and red boxes.

为什么要推荐?

让电子表格和数据表看到充满数据的行和列并不难。在整个排序和筛选过程中,对最终用户来说可能是一项乏味的任务。在一个无穷无尽的数据矩阵中,见解和建议可以帮助你获得最有用的信息。

如果它们是可操作的,它们可以为个人和职业目标带来价值,随着时间的推移,它们可以推动产品或服务的采用和保留。

这是一个渐进而直接的框架,可以增强用户的数据体验。

让我们开始吧。

1.数据

在达到建立推荐的最终目标之前,获得信任和建立信誉是至关重要的。数据是这个框架的核心,也是完美的起点。它是关于你或你的用户所采取行动的信息记录。

以下是我将在本文中讨论的几个例子:

  • 例1:你的银行账户向你显示了你进行的交易清单。
  • 例2:分析体验显示有多少人访问了你的网页。
  • 例3:流媒体平台显示人们观看你的视频的次数。

如果这些不可靠或不准确,你会把你的业务转移到别处。

2.见解

洞察可以影响用户根据过去的信息采取的下一步行动。你可以开始根据更大的数据集关联趋势。这是一个很好的机会与你的工程或数据科学团队合作,突出哪些趋势可以相互关联。

Table showing an example of a recommended action. Read example 2 in the fourth paragraph for the breakdown.

Example of an insight backed by two data points.

这可能看起来像是某个日期范围内的平均视频浏览量、完成交易所需的平均天数,或者每个电子邮件活动的平均打开次数。

您会注意到,我们开始考虑在一段时间内两个或多个数据点是什么样子。这将允许您进行比较和对比,并根据您可以确定的正面或负面影响来识别数据趋势——每个行业和问题空间被认为是正面或负面的不同,因此您需要确保对这一点有坚实的理解。

要详细说明数据部分中的示例,可以如下所示:

  • 例1:你这个月的平均花费比上个月高。
  • 例2:本周的平均访问量高于上周的这个时候。
  • 例3:你看到的流量增加了20%。

请注意,我们没有向用户推荐下一个操作,也没有强调特定的因果关系。

与任何事情一样,你都需要优先考虑哪些类型的见解和趋势最引人注目,因为如果你向用户透露太多的见解,它们可能会让人不知所措,或者造成盲目性。

3.建议

这就是所有这些结合在一起的地方。建议是我们让事情变得可行的地方——我们有一个强有力的假设,即什么会导致我们所学到的积极成果,用户对我们的预测有坚定的信心。如果用户想了解更多信息,我们会提供面包屑,以显示我们是如何根据数据和见解/趋势确定推荐的。

Table showing an example of a recommended action. Read example 1 in the next paragraph for the breakdown.

The recommendation suggested now has a story built on a trend in data, and data points to back that trend.

需要注意的一点是,这不是UX可以单独解决的问题。你需要确保你的数据科学/工程团队拥有一个成熟的分析/建模平台,并且有足够大的数据集是准确的——没有它,这是行不通的,如果不准确,就信任和采用而言,这可能会带来高昂的成本。

现在我们可以利用我们的数据作为基础,由趋势支持来创造这个故事。

例1

  • 建议——本月减少可自由支配支出,将更多现金用于储蓄。
  • 洞察——你这个月的花费比上个月高。
  • 数据——2笔超过500美元的可自由支配支出。(请注意,这些是单一的数据集、类别和支出)

例2

  • 推荐——开展营销活动,为你的网站带来新的流量。
  • 洞察——上个月你还没有开展营销活动。
  • 数据-网站访问量减少30%是独特的流量。

例3

  • 推荐——每周多发布两段视频,你的月浏览量将达到20000次。
  • 洞察——本周的平均浏览量高于上周的这个时候。
  • 数据——上周上传了四次视频,每次观看1000次。

这些都是基本的例子,但你可以看到我们是如何根据过去的表现开始构建故事的。

基于具体数据和证据为用户提供建议,让他们有了一些切实的东西,他们会对你的建议充满信心,因为你是基于实际数据的。

这可能是很多信息,所以你需要弄清楚你想要使用什么样的渐进式披露模式。

结束

让我们回顾一下今天的内容:

无论你对自己的建议有多确定,人们都希望看到你是如何得出结论的——你必须能够用现有数据和趋势来支持一切。您可能对数据的工作方式有复杂的理解,但用户可能没有。因此,向他们展示你是如何得出结论的是很重要的,这样他们也可以对见解和数据有相同的理解。

信任一旦失去就很难恢复,所以你需要把它做好——试着在有限的用户群中测试这个框架,并允许人们选择使用这种方法。征求反馈意见,记下你的观察结果,并努力使这一过程尽可能连贯和成功。这里几乎没有出错的余地,因为用户依赖的是根据正确数据得出的建议。因此,在将此框架作为标准实践之前,请花一些时间来弄清楚它并使其正确。

以下是一些额外的资源,可以让您更深入地了解这个主题:

 

本文地址
https://architect.pub/designing-data-build-trusted-recommendations-through-simple-framework
SEO Title
Designing with data: Build trusted recommendations through this simple framework

【机器学习】深入指导企业中的机器学习

视频号

微信公众号

知识星球

Chinese, Simplified

企业正在快速采用机器学习技术。在这本机器学习指南中,我们详细介绍了您需要了解的关于这项变革性技术的内容。

用于企业的机器学习正在爆炸式增长。从改善客户体验到开发产品,现代商业中几乎没有一个领域不受机器学习的影响。

机器学习是创造人工智能的途径,而人工智能又是企业使用机器学习的主要驱动因素之一。对于人工智能和机器学习之间关系的确切性质,存在一些分歧。一些人将机器学习视为人工智能的一个子领域,而另一些人则将人工智能本质上视为机器学习的一个子领域。一般来说,人工智能旨在复制人类感知或决策的某些方面,而机器学习可以用于增强或自动化几乎任何任务,而不仅仅是与人类认知相关的任务。无论你如何看待它们,这两个概念都是紧密联系在一起的,它们正在相互影响。

机器学习的实践包括获取数据,检查其模式,并对未来结果进行某种预测。随着时间的推移,通过向算法提供更多的数据,数据科学家可以提高机器学习模型的预测能力。根据这一基本概念,已经发展出许多不同类型的机器学习:

  • 监督机器学习。机器学习最常见的形式是监督学习,它包括向算法提供大量标记的训练数据,并要求算法根据从标记数据中学习到的相关性对从未见过的数据进行预测。
  • 无监督学习。无监督学习通常用于人工智能的更高级应用。它包括将未标记的训练数据提供给算法,并要求它自己拾取任何关联。无监督学习在聚类(揭示数据中的组的行为)和关联(预测描述数据的规则)的应用中很流行。
  • 半监督学习。在半监督学习中,算法在小的标记数据集上进行训练,然后像在无监督学习中一样,将其学习应用于未标记数据。这种方法通常在缺乏高质量数据的情况下使用。
  • 强化学习。强化学习算法接收一组指令和指导方针,然后通过试错过程自行决定如何处理任务。决策要么被奖励,要么被惩罚,作为引导人工智能找到问题最佳解决方案的一种手段。

从这四种主要类型的机器学习中,企业开发了一系列令人印象深刻的技术和应用。从相对简单的销售预测到当今最尖端的人工智能工具,一切都基于机器学习模型。本企业中的机器学习指南探讨了机器学习的各种用例、采用的挑战、如何实施机器学习技术等等。

https://youtu.be/ATedpHnMpg0

企业使用案例和好处

用于企业的机器学习正在加速,而不仅仅是在外围。越来越多的企业将机器学习应用程序置于其商业模式的中心。正如技术作家玛丽·普拉特在“商业中机器学习的10种常见用途”中所解释的那样,这项技术使企业能够以以前无法实现的规模执行任务,不仅为公司带来了效率,还带来了新的商业机会。“机器学习在关键业务流程中的应用越来越多,这反映在它发挥不可或缺作用的一系列用例中。以下是示例:

  • 推荐引擎。如今,大多数知名的面向消费者的在线公司都使用推荐引擎在正确的时间将正确的产品呈现在客户面前。在线零售巨头亚马逊在过去十年的早期开创了这项技术,此后它已成为在线购物网站的标准技术。这些工具考虑了客户一段时间以来的浏览历史,并将该历史所描述的偏好与客户可能还不知道的其他产品相匹配。
  • 欺诈检测。随着越来越多的金融交易转移到网上,欺诈的机会前所未有地大。这使得欺诈检测的必要性变得至关重要。信用卡公司、银行和零售商越来越多地使用机器学习应用程序来排除可能的欺诈案例。在非常基本的层面上,这些应用程序的工作方式是学习合法事务的特征,然后扫描传入事务以查找偏离的特征。然后,该工具标记这些事务。
  • 客户分析。如今,大多数企业都会收集大量客户数据。这个所谓的大数据包括从浏览历史到社交媒体活动的所有内容。它太过庞大和多样化,人类自己无法理解。这就是机器学习的用武之地。算法可以搜索企业存储原始数据的数据湖,并发展对客户的见解。机器学习甚至可以开发针对个人客户的个性化营销策略,并为改善客户体验提供信息。
  • 金融交易。华尔街是机器学习技术最早的采用者之一,原因很清楚:在一个数十亿美元危在旦夕的高风险世界里,任何优势都是有价值的。机器学习算法能够检查历史数据集,发现股票表现的模式,并预测某些股票未来的表现。
  • 虚拟助理。到目前为止,大多数人都熟悉苹果和谷歌等科技公司的虚拟助理。他们可能不知道机器学习在多大程度上为这些机器人提供了动力。机器学习以多种不同的方式进入,包括深度学习,这是一种基于神经网络的机器学习技术。深度学习在开发自然语言处理(机器人如何与用户互动)以及学习用户偏好方面发挥着重要作用。
  • 自动驾驶汽车。这就是机器学习进入人工智能领域的地方,人工智能旨在与人类智能不相上下。自动驾驶汽车使用神经网络来学习解读摄像头和其他传感器检测到的物体,并确定在道路上行驶时应采取什么行动。通过这种方式,机器学习算法可以使用数据来接近复制类似人类的感知和决策。

这些只是一些例子,但还有无数的例子。任何产生或使用大量数据的业务流程——尤其是结构化、标记的数据——都已经成熟,可以使用机器学习实现自动化。所有行业的企业都学到了这一点,并正在努力在整个过程中实施机器学习方法。

machine learning use cases

Common machine learning use cases

不难看出为什么机器学习进入了如此多的情况。采用机器学习的企业正在解决商业问题,并从这种人工智能技术中获得价值。以下是六项业务优势:

  • 提高生产力;
  • 劳动力成本降低;
  • 更好的财务预测;
  • 更清楚地了解客户;
  • 工人的重复性任务更少;和
  • 更先进、更人性化的输出。

准备好参加机器学习面试了吗?准备好这些问题和答案。

挑战

问题不再是是否使用机器学习,而是如何以返回最佳结果的方式操作机器学习。这就是事情变得棘手的地方。

机器学习是一项复杂的技术,需要大量的专业知识。与其他一些技术领域不同,在这些领域,软件大多是即插即用的,机器学习迫使用户思考他们为什么使用它,谁在构建工具,他们的假设是什么,以及技术是如何应用的。很少有其他技术具有如此多的潜在故障点。

  • 错误的用例是许多机器学习应用程序的失败。有时,企业以技术为先导,寻找实现机器学习的方法,而不是让问题决定解决方案。当机器学习被硬塞进一个用例中时,它往往无法交付结果。
  • 错误的数据比任何事情都更快地破坏了机器学习模型。数据是机器学习的生命线。模型只知道它们显示了什么,所以当它们训练的数据不准确、无组织或在某种程度上有偏见时,模型的输出就会出错。

这个时间线描绘了机器学习的一些主要发展,可以追溯到20世纪40年代。

  • 偏见经常阻碍机器学习的实现。可能破坏机器实现的许多类型的偏见通常分为两类。当为训练算法而收集的数据根本不能反映真实世界时,就会出现一种情况。数据集不准确、不完整或不够多样。另一种类型的偏见源于用于对数据进行采样、汇总、过滤和增强的方法。在这两种情况下,错误都可能源于监督培训的数据科学家的偏见,并导致模型不准确,更糟糕的是,不公平地影响特定人群。在他的文章《减少机器学习中不同类型偏见的6种方法》中,分析师Ron Schmelzer解释了可能破坏机器学习项目的偏见类型以及如何减轻这些偏见。
  • 黑盒功能是偏见在机器学习中如此普遍的原因之一。许多类型的机器学习算法——尤其是无监督算法——对开发人员来说是不透明的,或者是“黑匣子”。数据科学家提供算法数据,算法对相关性进行观察,然后根据这些观察结果产生某种输出。但大多数模型都无法向数据科学家解释为什么它们会产生这样的输出。这使得检测模型的偏差或其他故障变得极其困难。
  • 技术复杂性是企业使用机器学习的最大挑战之一。将训练数据馈送到算法并让其学习数据集的特征的基本概念听起来可能足够简单。但是,这背后隐藏着许多技术上的复杂性。算法是围绕先进的数学概念构建的,算法运行的代码可能很难学习。并不是所有的企业都拥有开发有效的机器学习应用程序所需的内部技术专业知识。
  • 缺乏可推广性。在大多数企业中,由于缺乏可推广性,机器学习无法扩展到新的用例。机器学习应用程序只知道它们被明确训练了什么。这意味着模型不能像人类那样,把它从一个领域学到的东西应用到另一个领域。每个新的用例都需要从头开始训练算法。

为了了解更多关于机器学习的信息,这里列出了九本书,从初学者的简明介绍到人工智能顶尖专家关于尖端技术的高级文本。

How bias infects AI applications

Bias is one of the biggest challenges in machine learning.

实施:6个步骤

实现机器学习是一个多步骤的过程,需要来自许多类型的专家的输入。以下是六个步骤的流程概述。

  1. 任何机器学习的实现都是从识别问题开始的。最有效的机器学习项目应对特定的、明确定义的商业挑战或机遇。
  2. 在问题制定阶段之后,数据科学团队应该选择他们的算法。不同的机器学习算法更适合不同的任务,正如TechTarget编辑Kassidy Kelley在“9种机器学习算法”的文章中所解释的那样。简单的线性回归算法在用户试图基于另一个已知变量预测一个未知变量的任何用例中都能很好地工作。前沿的深度学习算法更擅长图像识别或文本生成等复杂的事情。还有几十种其他类型的算法覆盖了这些示例之间的空间。选择正确的方法对机器学习项目的成功至关重要。
  3. 一旦数据科学团队确定了问题并选择了算法,下一步就是收集数据。收集正确种类和足够数据的重要性经常被低估,但这不应该被低估。数据是机器学习的生命线。它为算法提供了他们所知道的一切,反过来又定义了他们的能力。数据收集涉及复杂的任务,如识别数据存储、编写脚本将数据库连接到机器学习应用程序、验证数据、清洁和标记数据,并将其组织在文件中供算法处理。虽然这些工作既乏味又复杂,但其重要性怎么强调都不为过。
  4. 现在是魔法开始的时候了。一旦数据科学团队掌握了所需的所有数据,就可以开始构建模型。机器学习过程中的这一步骤将显著不同,这取决于团队是使用有监督的机器学习算法还是无监督的算法。当训练受到监督时,该团队将提供算法数据,并告诉要检查哪些特征。在无监督学习方法中,该团队基本上对数据放松算法,并在算法生成数据模型后返回。了解如何在这个专家提示中建立一个神经网络模型。
  5. 接下来是应用程序开发。既然该算法已经开发出了数据的模型,数据科学家和开发人员就可以将这种学习构建到一个应用程序中,以解决流程第一步中确定的业务挑战或机遇。有时这很简单,就像一个根据不断变化的经济状况更新销售预测的数据仪表板。它可以是一个推荐引擎,它已经学会了根据过去的客户行为定制建议。或者它可能是尖端医学软件的一个组件,该软件使用图像识别技术检测医学图像中的癌症细胞。在开发阶段,工程师将根据新的输入数据测试模型,以确保其提供准确的预测。
  6. 尽管主要工作已经完成,但现在还不是放弃模型的时候。机器学习过程的最后一步是模型验证。数据科学家应该验证他们的应用程序在持续的基础上提供了准确的预测。如果是这样的话,可能就没有什么理由做出改变了。但是,模型性能通常会随着时间的推移而降低。这是因为模型所训练的基本事实——无论是经济状况还是客户倾向——都会随着时间的推移而变化。当这种情况发生时,模型的性能会变得更差。这是数据科学家需要重新训练他们的模型的时候了。在这里,整个过程基本上重新开始。

Machine learning adoption roadmap

Most enterprises follow these steps toward adoption.

ML的管理和维护

企业中机器学习应用程序的管理和维护是一个有时被忽视的领域,但它可能决定用例的成败。

机器学习的基本功能取决于模型学习趋势,如客户行为、库存表现和库存需求,并将其预测到未来,为决策提供信息。然而,基本趋势在不断变化,有时略有变化,有时大幅度变化。这被称为概念漂移,如果数据科学家在他们的模型中没有考虑到这一点,模型的预测最终将偏离基准。

纠正这种情况的方法是永远不要将生产中的模型视为已完成。他们要求持续进行验证、再培训和返工,以确保他们继续取得成果。

  • 验证。数据科学家通常会拿出一段新的、传入的数据,然后验证模型的预测,以确保它们接近新的、传出的数据。
  • 再培训。如果一个模型的结果开始与实际观测数据显著偏离,那么是时候对模型进行重新训练了。数据科学家需要获得一组反映当前情况的全新数据。
  • 重建。有时,机器学习模型应该预测的概念会发生很大变化,以至于模型中的基本假设不再有效。在这些情况下,可能是时候从头开始完全重建模型了。

MLOps

机器学习操作,或称MLOps,是一个新兴的概念,旨在积极管理这一生命周期。MLOps工具不是在适当的时候采用特别的方法来验证和再培训,而是将每个模型都安排在开发、部署、验证和再训练的时间表上。它寻求将这些流程标准化,随着企业将机器学习作为其运营的核心组成部分,这种做法变得越来越重要。

未来趋势

当我们展望机器学习的未来时,一个总体趋势占主导地位。企业采用率将继续增加,使该技术从前沿走向主流。

这一趋势已经在顺利进行。

AI adoption trends

分析公司Gartner 2019年的一项调查发现,37%的企业采用了某种形式的人工智能。这比2015年的10%有所上升。按照目前的发展轨迹,机器学习有望在未来几年成为一项无处不在的技术。在2020年前十大数据和分析趋势的排名中,该分析公司将“更智能、更快、更负责任的人工智能”列为年度最佳趋势。该报告指出,机器学习和其他人工智能技术在深入了解全球冠状病毒疫情方面至关重要,并预测到2024年,75%的组织将从试点转向操作人工智能。由于企业中机器学习的采用率很高,机器学习工具的市场正在快速增长。分析公司Research and Markets预测,到2022年,机器学习市场将从2017年的14亿美元增长到88亿美元。

原因很清楚。如今最成功的公司,如亚马逊、谷歌和优步,都将机器学习应用程序置于其商业模式的中心。正如技术作家乔治·劳顿在《学习人工智能各种技术的商业价值》一书中所探讨的那样,行业领先的企业并没有将机器学习视为一种很好的技术,而是将机器学习和人工智能技术视为保持竞争优势的关键

深度学习(一种基于神经网络的机器学习)的进步在将人工智能带到企业的前沿方面发挥了巨大作用。如今,神经网络在企业应用中相对常见。这些先进的深度学习技术使模型能够做任何事情,从识别图像中的对象到为产品描述和其他应用程序创建自然语言文本。如今,有许多不同类型的神经网络,它们被设计用于执行特定的工作,并且一直在开发具有增强能力的新的神经架构。一个例子是谷歌2017年首次推出的transformer神经网络架构,它正在彻底改变自然语言处理领域。正如技术作家David Petersson在《细胞神经网络与RNN:它们的区别和重叠之处》一书中所解释的那样,了解不同类型算法的独特性是充分利用它们的关键。

现在人们认为,大量的知识工作将实现自动化是不可避免的。甚至一些创意领域也正在被机器学习驱动的人工智能应用渗透。这引发了人们对未来工作的质疑。在一个机器能够管理客户关系、在医学图像中检测癌症、进行法律审查、在全国范围内驾驶集装箱并生产创造性资产的世界中,人类工人的角色是什么?人工智能的支持者表示,自动化将通过消除死记硬背的任务,让人们自由地从事更具创造性的活动。但也有人担心,不断推进自动化将给人类工人留下很少的空间。

https://youtu.be/bDAyquF-BrQ

供应商和平台

希望部署机器学习的企业不乏选择。机器学习领域的特点是开源工具和由传统供应商构建和支持的软件之间的激烈竞争。无论企业是从供应商还是开源工具选择机器学习软件,应用程序都通常托管在云计算环境中并作为服务提供。供应商和平台的数量比一篇文章所能说出的还要多,但下面的列表对该领域一些更大的参与者提供的产品进行了高级概述。

供应商工具

  • AmazonSagemaker是一个基于云的工具,允许用户在一系列抽象级别上工作。用户可以为简单的工作负载运行预先训练的算法,也可以为更广泛的应用程序编写自己的代码。
  • 谷歌云是一系列服务,从即插即用的人工智能组件到数据科学开发工具。
  • IBM Watson机器学习通过IBM云提供,允许数据科学家构建、培训和部署机器学习应用程序。
  • Microsoft Azure机器学习工作室是一个图形用户界面工具,支持在Microsoft云上构建和部署机器学习模型。
  • SAS Enterprise Miner是一家更传统的分析公司提供的机器学习产品。它专注于构建企业机器学习应用程序并快速将其产品化。

开放源代码

  • Caffe是一个专门设计用于支持深度学习模型开发的框架,尤其是神经网络。
  • Scikit-learn是一个Python代码模块的开源库,允许用户进行传统的机器学习工作负载,如回归分析和聚类。
  • TensorFlow是一个由谷歌构建并开源的机器学习平台。它通常用于开发神经网络。
  • Theano最初发布于2007年,是最古老、最值得信赖的机器学习库之一。它被优化为在GPU上运行作业,这可以导致快速的机器学习算法训练。
  • Torch是一个经过优化的机器学习库,用于在GPU上训练算法。它主要用于训练深度学习神经网络。

在机器学习平台的专家概述中,可以找到更详尽的供应商产品列表。

一般来说,大多数企业机器学习用户认为开源工具更具创新性和功能。然而,仍然有充分的理由使用专有工具,因为供应商提供的培训和支持通常是开源产品所没有的。今天的许多供应商工具都支持使用开源库,允许用户两全其美。

本文地址
https://architect.pub/depth-guide-machine-learning-enterprise
SEO Title
In-depth guide to machine learning in the enterprise

【深度学习】Ray 概述

视频号

微信公众号

知识星球

Chinese, Simplified

概述

Ray是一个开源的统一框架,用于扩展人工智能和Python应用程序,如机器学习。它为并行处理提供了计算层,因此您不需要成为分布式系统专家。Ray使用以下组件最大限度地降低了运行分布式个人和端到端机器学习工作流的复杂性:

  • 用于常见机器学习任务的可扩展库,如数据预处理、分布式训练、超参数调整、强化学习和模型服务。
  • 用于并行化和扩展Python应用程序的Python分布式计算原语。
  • 集成和实用程序,用于将Ray集群与Kubernetes、AWS、GCP和Azure等现有工具和基础设施集成和部署。

对于数据科学家和机器学习从业者来说,Ray可以让您在不需要基础设施专业知识的情况下扩展工作:

  • 轻松地在多个节点和GPU之间并行化和分发工作负载。
  • 快速配置和访问云计算资源。
  • 通过本机和可扩展的集成来利用ML生态系统。

对于分布式系统工程师来说,Ray可以自动处理关键流程:

  • 编排–管理分布式系统的各种组件。
  • 日程安排——协调何时何地执行任务。
  • 容错–确保任务完成,而不考虑不可避免的故障点。
  • 自动缩放–调整分配给动态需求的资源数量。

你能用Ray做什么

这些是一些常见的ML工作负载,个人、组织和公司利用Ray来构建他们的人工智能应用程序:

Ray框架

ray

Stack of Ray libraries - unified toolkit for ML workloads.

Ray的统一计算框架由三层组成:

  • Ray AI Runtime–一组开源、Python、特定领域的库,为ML工程师、数据科学家和研究人员提供可扩展和统一的ML应用工具包。
  • Ray Core–一个开源、Python、通用的分布式计算库,使ML工程师和Python开发人员能够扩展Python应用程序并加速机器学习工作负载。
  • Ray集群–连接到公共Ray头节点的一组工作节点。Ray集群可以是固定大小的,也可以根据集群上运行的应用程序请求的资源自动上下缩放。

扩展机器学习工作负载

使用用于分布式数据处理、模型训练、调优、强化学习、模型服务等的库工具包构建ML应用程序。



构建分布式应用程序

使用简单灵活的API构建和运行分布式应用程序。并行化单机代码,几乎没有代码更改。



部署大规模工作负载

在AWS、GCP、Azure或内部部署工作负载。使用Ray集群管理器在现有的Kubernetes、YARN或Slurm集群上运行Ray。



Ray AIR的五个原生库中的每一个都分配了一个特定的ML任务:

  • 数据:跨训练、调优和预测的可扩展的、与框架无关的数据加载和转换。
  • 训练:具有容错功能的分布式多节点和多核模型训练,与流行的训练库集成。
  • 调整:可扩展的超参数调整,以优化模型性能。
  • 服务:可扩展和可编程的服务,用于部署在线推理模型,并可选择微批量以提高性能。
  • RLlib:可扩展的分布式强化学习工作负载,可与其他Ray AIR库集成。

对于自定义应用程序,Ray Core库使Python开发人员能够轻松构建可扩展的分布式系统,这些系统可以在笔记本电脑、集群、云或Kubernetes上运行。这是Ray AIR和第三方集成(Ray生态系统)的基础。

Ray在任何机器、集群、云提供商和Kubernetes上运行,并以不断增长的社区集成生态系统为特色。

本文地址
https://architect.pubhttps://architect.pub/ray-overview
SEO Title
Ray Overview