2019-08-05 14:02

IBM开发AI以加速深度学习架构选择

导读IBM正在开发一个AI系统,以帮助开发人员选择正确的深度学习架构。研究人员Martin Wistuba正在认知和计算服务巨头撰写他称之为架构选择的进

IBM正在开发一个AI系统,以帮助开发人员选择正确的深度学习架构。

研究人员Martin Wistuba正在认知和计算服务巨头撰写他称之为“架构选择的进化算法”。他声称,新算法目前比其他方法快5万倍,错误率只有很小的增加。

深度学习模型应用于许多 IBM Watson产品和服务中,可以执行复杂的任务,如视觉识别,文本到语音转换,玩棋盘游戏等。“这些模型仿效人类大脑的运作,并且像大脑一样,它们的架构对于它们的功能至关重要,”Wistuba在一篇博客文章中写道。

目前,工程师和科学家从大量可能的候选人中选择最佳的深度学习模型架构。目前,这是一个耗时的手动过程; 然而,使用自动化AI解决方案来选择神经网络可以节省时间,并且 - 至关重要的是 - 使非专家能够更快地应用深度学习,他说。

“我的进化算法旨在将正确的深度学习架构的搜索时间缩短到几个小时,从而使深度学习网络架构的优化成为每个人都能负担得起的。”

那么它是怎样工作的?

逃离细胞

Wistuba的方法将卷积神经网络架构视为“神经细胞”序列,然后应用一系列突变,以便找到可以改善任何给定数据集和机器学习任务的网络性能的结构。

他说,这种方法大大缩短了网络培训时间。这些突变改变了网络的结构,但不改变网络的预测,可以包括添加层,添加新连接或扩展内核或层。

Wistuba使用CIFAR-10和CIFAR-100数据集将新的“神经进化”方法与图像分类任务中的其他几种方法进行了比较,这些数据集通常用于训练机器学习和计算机视觉系统。

他发现他的新算法的分类错误略高,但与最先进的人工设计架构,基于强化学习的架构搜索方法的结果以及其他自动化的结果相比,所需的时间要少得多基于进化算法的方法。

根据Wistuba的说法,它比其他一些方法快了50,000倍,错误率“比基准数据集CIFAR-10的最佳竞争对手高出0.6%”。

他希望新的优化方法最终能够集成到IBM的云服务中 - 包括Watson和Watson Assistant。在此之前,他计划将其扩展到更大的数据集,如ImageNet,以及其他类型的信息,如时间序列和文本数据。