跳转到主要内容

热门内容

今日:


总体:


最近浏览:


Chinese, Simplified

category

𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐌𝐮𝐥𝐭𝐢𝐭𝐚𝐬𝐤 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠.

大多数ML模型是独立训练的,没有与其他模型进行任何交互。

但现实世界中的ML使用了许多强大的学习技术,这些技术依赖于模型交互。

以下动画总结了四种行之有效的培训方法:

👉 在这里找到更生动的视觉解释:https://lnkd.in/gBnfFCgB.

--

1.𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠

在以下情况下有用:

  • -感兴趣的任务的数据较少。
  • -但一项相关任务有着丰富的数据。

它是这样工作的:

  • -在相关任务上训练神经网络模型(基础模型)。
  • -用新图层替换基础模型上的最后几层。
  • -对网络进行感兴趣的任务训练,但不要更新未训练层的权重。

对相关任务的训练首先允许模型捕捉感兴趣任务的核心模式。

接下来,它可以调整最后几层,以捕捉特定于任务的行为。

2.𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠

更新预训练模型的某些或所有层的权重,使其适应新任务。

这个想法可能看起来类似于迁移学习。但在这里,整个预训练的模型通常会根据新数据进行调整。

3.𝐌𝐮𝐥𝐭𝐢-𝐭𝐚𝐬𝐤 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠 (𝐌𝐓𝐋)

模型被训练为同时执行多个相关任务。

在架构方面,该模型具有:

  • -共享网络
  • -和特定任务的分支

其原理是在任务之间共享知识以提高泛化能力。

事实上,我们还可以通过MTL节省计算能力:

  • -想象一下,在相关任务上训练两个独立的模型。
  • -现在将其与具有共享层和特定任务分支的网络进行比较。

选项2通常会导致:

  • -更好地概括所有任务。
  • -存储模型权重的内存较少。
  • -训练期间资源使用较少。

4.𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠

这是一种去中心化的ML方法。在这里,训练数据保留在用户的设备上。

因此,在某种程度上,这就像将模型发送到数据,而不是将数据发送到模型。为了保护隐私,仅从设备收集型号更新并发送到服务器。

我们智能手机的键盘就是一个很好的例子。

它使用外语学习打字模式。这种情况不会将敏感的击键传输到中央服务器。

注意:在这里,模型是在小型设备上训练的。因此,它必须是轻量级的,但有用。

模型压缩技术在这种情况下很普遍。我在评论中链接了一个详细的指南。

 

本文地址
最后修改
星期五, 三月 15, 2024 - 20:15
Tags
 
Article