Chinese, Simplified
category
𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐌𝐮𝐥𝐭𝐢𝐭𝐚𝐬𝐤 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠 𝐯𝐬. 𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠.
大多数ML模型是独立训练的,没有与其他模型进行任何交互。
但现实世界中的ML使用了许多强大的学习技术,这些技术依赖于模型交互。
以下动画总结了四种行之有效的培训方法:
👉 在这里找到更生动的视觉解释:https://lnkd.in/gBnfFCgB.
--
1.𝐓𝐫𝐚𝐧𝐬𝐟𝐞𝐫 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠
在以下情况下有用:
- -感兴趣的任务的数据较少。
- -但一项相关任务有着丰富的数据。
它是这样工作的:
- -在相关任务上训练神经网络模型(基础模型)。
- -用新图层替换基础模型上的最后几层。
- -对网络进行感兴趣的任务训练,但不要更新未训练层的权重。
对相关任务的训练首先允许模型捕捉感兴趣任务的核心模式。
接下来,它可以调整最后几层,以捕捉特定于任务的行为。
2.𝐅𝐢𝐧𝐞-𝐭𝐮𝐧𝐢𝐧𝐠
更新预训练模型的某些或所有层的权重,使其适应新任务。
这个想法可能看起来类似于迁移学习。但在这里,整个预训练的模型通常会根据新数据进行调整。
3.𝐌𝐮𝐥𝐭𝐢-𝐭𝐚𝐬𝐤 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠 (𝐌𝐓𝐋)
模型被训练为同时执行多个相关任务。
在架构方面,该模型具有:
- -共享网络
- -和特定任务的分支
其原理是在任务之间共享知识以提高泛化能力。
事实上,我们还可以通过MTL节省计算能力:
- -想象一下,在相关任务上训练两个独立的模型。
- -现在将其与具有共享层和特定任务分支的网络进行比较。
选项2通常会导致:
- -更好地概括所有任务。
- -存储模型权重的内存较少。
- -训练期间资源使用较少。
4.𝐅𝐞𝐝𝐞𝐫𝐚𝐭𝐞𝐝 𝐥𝐞𝐚𝐫𝐧𝐢𝐧𝐠
这是一种去中心化的ML方法。在这里,训练数据保留在用户的设备上。
因此,在某种程度上,这就像将模型发送到数据,而不是将数据发送到模型。为了保护隐私,仅从设备收集型号更新并发送到服务器。
我们智能手机的键盘就是一个很好的例子。
它使用外语学习打字模式。这种情况不会将敏感的击键传输到中央服务器。
注意:在这里,模型是在小型设备上训练的。因此,它必须是轻量级的,但有用。
模型压缩技术在这种情况下很普遍。我在评论中链接了一个详细的指南。
- 登录 发表评论
- 25 次浏览
发布日期
星期五, 三月 15, 2024 - 20:14
最后修改
星期五, 三月 15, 2024 - 20:15
Article
最新内容
- 2 days 11 hours ago
- 2 days 13 hours ago
- 2 days 13 hours ago
- 5 days 5 hours ago
- 5 days 12 hours ago
- 5 days 13 hours ago
- 5 days 13 hours ago
- 5 days 13 hours ago
- 1 week 2 days ago
- 1 week 3 days ago