什么是迁移学习,该领域的历史发展前景如何?

什么是迁移学习?该领域的历史发展前景如何?

迁移学习,顾名思义,就是将已经学习和训练好的模型参数迁移到一个新的模型中,帮助新的模型训练数据集。正如其他朋友回答的,考虑到大部分数据或任务都是有关联的,我们可以通过迁移学习的方式,将我们学习到的参数分享给新的模型,从而加快和优化模型的学习,而不用像以前那样从零开始学习。

更具标志性的例子是Deepmind的作品《渐进式神经网络》。/手表?知乎上的一个主页V=aWAP_CWEtSI也写得很清楚:前沿:从虚拟到现实,迁移深度强化学习让机器人革命成为可能!-智能单元-知乎专栏

至于发展前景,可以这么认为。

深度学习可能不是元学习的唯一路径,但极有可能是可行的方法。在和其他领域的朋友讨论了这个问题后,我得到了以下分解元学习的大致方向。

动态学习。象征性的工作是AlphaGo,或者说反馈学习,它可以通过非暴力的方法,以全局的眼光理解一些非常复杂、定义模糊的任务,从而通过采取行动实现回报的最大化。这一块我不是特别熟悉,就不详细解释了,误导大众。相关文章:通过深度补偿学习的人类级控制:nature: nature research,/nature/journal/v 529/n 7587/full/nature 16961 . html。

迁移学习/渐进(持续)学习。就像我刚才说的,现在所有的深度学习模型都是从零开始学习,不像人类可以很快学会一些类似的游戏或者永远不会忘记骑自行车的特点。因此,一定程度的共享参数是非常必要的,不仅可以加快模型的训练速度,还可以节省内存,避免重复学习已有的类似问题。

一次/零次学习。现在在视觉领域,基本上所有的识别和分类任务都需要大量的数据集。事实上,人类并不是这样认识一个新事物的。例如,当人类看到一张恐龙的照片时,他们会看到一只奇怪的恐龙,有着不同的毛发、颜色和特征,但他们仍然可以很容易地知道这是一只恐龙。或者,通过我们所学的特征,我们可以用语言来描述它。这是一只白色毛茸茸的兔子,我们可以在自己的脑海中大致想象出他的样子。所以在识别和分类任务上还有很大的改进空间。相关文章:/blog/wave net-generative-model-raw-audio/。

分层学习。(?)这张纯想象,没有纸。大意是希望model能像人类一样从1+1=2开始学习微积分。从而真正做到强人工智能。

以上四个方向都有论文和相关研究,但都没有充分发展,相互依存。而且我相信NLP也会和vision converge合作,因为类似于生成式学习和零拍学习,都需要利用彼此的结果来继续发展。

在修远有很长的路要走,我将上下起伏。让我们一起为元学习而努力。