亚博ios彩票什么是转移学习?

5.
机器人坐在一堆书上。包含剪切路径
图像信用:Depositphotos

本文是的一部分贬低艾..,一系列帖子(尝试)消除围绕人工智能的行话和神话。www.yabovip4

今天,人工智能www.yabovip4计划可以识别照片和视频中的面孔和对象,实时转录音频,预先检测X射线扫描的癌症,并与一些最复杂的游戏中的人类竞争。

直到几年前,所有这些挑战都被认为是不可逾越的,几十年之后,或者正在解决次优效果。但是进步神经网络和深度学习,过去几年已经变得非常受欢迎的AI分支,帮助计算机解决了这些和许多其他复杂问题。

不幸的是,在从头开始创建时,深度学习模型需要访问大量数据和计算资源。这是许多人负担不起的奢侈品。此外,培训深度学习模型需要很长时间才能执行任务,这不适合使用短时间预算的情况。

幸运的是,转移学习,使用从一个训练有素的AI模型获得的知识的学科可以帮助解决这些问题。

培训深层学习模式的成本

深度学习是一个子集机器学习是通过训练示例开发AI的科学。深度学习和神经网络背后的概念和科学与术语一样古老“www.yabovip4“本身。但直到近年来,他们在很大程度上被AI社区解除了效率低下。

过去几年大量数据和计算资源的可用性将神经网络推向敏捷,并使得可以开发能够解决现实世界问题的深度学习算法。

要培训深入学习模式,基本上必须喂它神经网络有很多注释的例子。这些示例可以是诸如具有最终结果的患者的物体或乳房X光检查的标记图像的东西。神经网络将仔细分析和比较图像并开发数学模型,其表示类似类别的图像之间的重复模式。

已经存在多个大型开源数据集,如想象成,一个超过1400万图像的数据库,标有22,000个类别,和m,一个60,000个手写数字的数据集。AI工程师可以使用这些来源培训他们的深度学习模式。

但是,培训深度学习模型也需要获得非常强大的计算资源。开发人员通常使用谷歌的张量处理器(TPU)等CPU,GPU或专业硬件集群以衡量的方式培训神经网络。购买或租赁此类资源的费用超出个人开发人员或小组织的预算。此外,对于许多问题,培训强大的AI模型并没有足够的例子。

www.yabovip4人工智能符号。3d回报了不普查。隔绝在白色。

转移学习使深度学习培训更少苛刻

说AI工程师想要创建一个图像分类器神经网络来解决特定问题。工程师不能收集数千和数百万图像,而是可以使用诸如想象网的公共可用数据集之一,并使用特定于域的照片增强它。

但是,AI工程师仍必须租金支付HEFTY SUM以通过神经网络运行这些数百万图像所需的计算资源。这是转移学习发挥的地方。转移学习是通过微调先前培训的神经网络来创建新的AI模型的过程。

除了从划痕中训练他们的神经网络,而不是培训他们的神经网络,可以为自己的目的下载预训练,开源深度学习模型和Finetune。有许多预用的基础型号可供选择。流行的例子包括AlexNet,Google的Inception-V3和Microsoft的Reset-50。这些神经网络已经在想象中的数据集上培训。AI工程师只需要通过进一步培训他们自己的域的示例来增强它们。

转移学习不需要大量计算资源。在大多数情况下,一个体面的台式电脑或强大的笔记本电脑可以在几个小时甚至更少的时间内向预磨练的神经网络进行芬特。

转移学习如何工作如何?

有趣的是,神经网络以等级方式发展他们的行为。每个神经网络由多层组成。在训练之后,每个层调整以检测输入数据中的特定功能。

例如,在图像分类器卷积网络中,前几个层检测了诸如边缘,角落,圆和颜色斑点的一般特征。当您深入了解网络时,层开始检测更多的具体事物,如眼睛,面孔和完整的物体。

神经网络层可视化
顶层神经网络检测一般特征。更深层面检测实际对象(来源:Arxiv.org.

在进行转移学习时,AI工程师冻结了预先训练神经网络的第一层。这些层是检测所有域中常见的一般功能的层。然后,他们将深入的图层用自己的示例向他们进行芬特,并添加新图层以对其训练数据集中包含的新类别进行分类。

预先训练和芬特的AI模型也分别称为“教师”和“学生”模型。

冻结和芬特层的数量取决于源和目的地AI模型之间的相似性。如果学生AI模型解决了教师非常接近的问题,则无需介绍预磨削模型的层。开发人员只需要在网络末尾附加一个新图层并为新类别培训AI。这被称为“深层特征提取”。当目标域的训练数据很少时,深度特征提取也是优选的。

当源和目的地之间存在相当大的差异或培训示例丰富时,开发人员在预读AI模型中解冻几个层。然后,他们添加了新的分类层,并使用新示例将UNIZEN层的Finetune。这被称为“中层特征提取”。

在源和目的地AI模型之间存在显着差异的情况下,开发人员解冻并重新培训整个神经网络。称为“全模型微调”这种转移学习还需要大量的培训例子。

深入学习转移学习
图像来源:芝加哥大学

拍摄预磨模的模型并恢复其所有层似乎荒谬。但在实践中,它可以节省时间和计算资源。在培训之前,神经网络中的变量用随机数初始化,并在处理训练数据时调整它们的值。已经调整了预先训练神经网络的变量的值已经调整到数百万训练示例。因此,它们是一个更好的出发点,用于新的AI模型,这些模型想要在具有甚至与源AI模型中具有丝毫相似之处的新的示例上培训。

转移学习不是银子弹

转移学习狼以高效且经济实惠的方式培训AI模型的许多问题。但是,它也有权衡。如果预先磨碎的神经网络具有安全漏洞,则使用它作为传输学习的基础的AI模型与继承这些漏洞。

例如,基础模型可能不会稳健对抗攻击,仔细制作输入示例,强制AI以不稳定的方式更改其行为。如果恶意演员设法开发一个基础模型的逆势示例,他们的攻击将在来自它派生的大多数AI模型上工作。芝加哥大学的研究人员,UC Santa Clara和Virgina Tech显示了这一点在去年在Usenix安全研讨会上呈现的论文中

此外,在一些域中,如教授AI玩游戏,转移学习的使用非常有限。那些AI模型训练有素加强学习,一个非常计算密集型的AI的分支,需要大量的试验和错误。在钢筋学习中,大多数新问题都是独一无二的,需要自己的AI模型和培训过程。

但总而言之,对于大多数深度学习应用,如图像分类和自然语言处理,有可能的可能性让您可以通过良好的巧妙的转移学习来快捷方式快捷。

发表评论

本网站使用AkisMet减少垃圾邮件。了解如何处理评论数据