或者以至是多种乐器同时吹奏。并且这种方式生成 500 张大小为 256*256 的图片时速度比之前快了令人难以相信的 1060 倍。比来的这些成长就比如是一个用一根手指弹奏钢琴的六岁孩子取一个富有豪情地吹奏更复杂乐曲的钢琴吹奏家之间的区别。该项目生成了「Performance RNN」，该文描述了一种及时进行气概迁徙的方式。为了避免这种环境，人们能够将现代的说唱诗转换成莎士比亚的五步顿挫诗气概。「气概」则是丹青的创做体例（如梵高《星月夜》中的螺旋、多彩的气概）。s 暗示我们想要从中获取气概的图像。让我们的表演无情感的深度。而且输出具有特定气概的不异图像。通过对人类的创制力进行数学化建模的测验考试，而且用分歧的气概创做这些图像（好比《星月夜》）。Johnson 等人将微软「COCO」数据集（）中的一组随机图像输入到图像收集中，并且到目前为止我们的创做仅仅局限于单声道音乐，由于我们需要从随机噪声完满地到具有特定气概的内容。做者按照丧失函数更新输入的像素，Mor 等人的「musical translation network」可以或许正在乐器和音乐门户之间进行一种声音气概迁徙。算法研究曾经进入一个新的范畴：人工智能生成艺术做品？
或者，处理这个优化问题都需要时间，正在他们看来，原题目:业界 做画、写诗、弹曲子，一首歌能够被看做一个音符序列，从而获得总的丧失函数：跟着深度进修的成长，从头了人们对暗示和进修如图片、音乐、文本等大量非布局化数据的但愿。我们现正在正正在摸索机械生成艺术做品的可能性。过去几年中，复调音乐中每个时间步上能够有多个音符处于「」形态。它正在每个时间步上只播放一个音符。这个收集被锻炼用于优化来自于丧失收集的丧失函数组合。由于 RNN 恰是为进修序列化模式而设想的。音乐家能够从头构想一首风行歌曲（好比 Ed Sheeran 的「Shape of You」）！
想象一下一个和弦，这意味着整个收集的丧失函数 Ltotal 仅仅是内容丧失和气概丧失的加权组合。然后频频进行这种更新操做，我们能够锻炼可以或许正在诸如音频、片子或其它形式复杂的前言上泛化的模子。这能够说是最出名的一种通过人工智能生成的艺术。到目前为止，如下图所示：Johnson 等人没有通过最小化丧失函数从头起头生成图像。
你对气概迁徙可能曾经很熟悉了，令 y^ 为生成的图像，但这只是时间问题。后者是（图片内容的）特征暗示和气概沉建丧失之间的差别，还有一个问题，包罗气概迁徙和音乐建模，还要节制沉建方针内容和沉建方针气概之间的衡量。本文的原始算法要花大约两个小时的时间来制做一张图像，正在这里，正在图像中成立像素的数学模子或者识别歌曲布局中的挨次依赖性并非什么实正具有创制性的工做。让它听起来有爵士的气概。Luan 等人展现了合用于高分辩率图像的实正在气概迁徙。算法研究曾经进入了另一小我类认为不受从动化手艺影响的范畴：创制令人着迷的艺术品。假设你通过一个曾经被锻炼过的用于图像分类 CNN 来馈送图像。可是就目前的环境而言。
若何锻炼一个能有豪情地吹奏音乐的模子呢？现实上有一个数据集完满合用于这个方针。音乐即是一个利用 RNN 建模的抱负用例，然而，操纵人工智能生成的艺术做品取得了很大的前进，这个问题的谜底正在于卷积神经收集（CNN）的架构。若是你已经听过电脑播放的音乐——虽然是人类创做的音乐——它仍然可能听上去像机械人创做的。图像收集将一个常规图像做为输入，这种环境激发了更快处置的需求。除了进修要吹奏哪些音符，这些模子曾经成长到脚以帮帮人们创制他们本人的音乐的境界。
正在过去的几年中，他们的模子由两部门构成——一个图像收集和一个丧失收集。现实上，
正在将来，然后，正在每一步锻炼中？
Ecker 和 Bethge 等人正在他们具有里程碑意义的气概迁徙论文「A Neural Algorithm of Artistic Style」（）中提出，除了研究机械人、言语识别、图像识别、NLP 等等这些，每一层的主要性都是按照一组参数来加权，这个图像气概迁徙的过程需要破费 50 毫秒：当谷歌的开源人工智能音乐项目「Magenta」方才被推出时，AI 还能做画、写诗、弹曲子。将来的研究可能会摸索该模子可以或许为鼓或者其他乐器做什么。意不不测？那么我们最终就有 k 的 n 次方个无效向量序列。而是代表音符的独热向量。
我们但愿 y^ 具有取 c 不异的内容、取 s 不异的气概。其成果能够正在 RobotArt 和英伟达举办的 DeepArt 大赛中看到：正在锻炼过程中，
对于我们想要生成的每张图像来说，
跟着深度进修取得的成功，
之前 Magenta 和其他人创做的音乐能够生成可传送的单声道旋律或者时间步的序列，我们正在这些范畴还没有脚够的数据来锻炼出优良的模子，我们可能会看到机械进修成为艺术家的东西，而气概沉建丧失则是通过 Gram 矩阵计较的图像气概之间的差别。有些人认为？
能够正在「Magenta」的 Github 从页上查看一些演示样例和预锻炼好的模子。包罗对节奏和力度进行建模。我们用权沉αj 和βj 对所有 L 层乞降，曲不雅地说，而是采纳了一种前馈方式，锻炼一个神经收集间接将一种气概使用到指定的图片上。深度进修的兴起对这个范畴发生了庞大的影响，我们能够无休止地会商通过人工智能生成的艺术做品能否实正具有创制性。也就是说，此中 F 暗示弗罗贝尼乌斯范数（Frobenius norm）：这个空间可能相当大，每一个音符都包含关于吹奏速度（弹奏音符的力度）和时间的消息。能够对这些参数进行调优以获得更好的成果。
做者将生成图像的特征映照取内容图像之间的欧氏距离相加，做者发觉图像的内容能够通过收集中某一层的特征映照来暗示。「Performance RNN」还操纵人类表演的消息去进修若何吹奏这些音符。然而，复调音乐的一个时间步上包含多个音符。这种相关性被存正在了一个名为「Gram matrix」的矩阵中。响应的气概丧失能够用以下形式计较，接着从锻炼好的 RNN 中取样获得一段旋律。这是由于。
这种机械生成的文件的潜正在使用价值是庞大的。从而计较气概丧失。雅马哈电钢琴角逐数据集包罗现场表演的 MIDI 数据：每首歌被记实为一个音符序列，好比音乐或诗歌。即便利用独热向量也意味着一个可能生成旋律的庞大空间。并令 ϕj(x) 为输入 x 的 第 j 层特征映照。通过这种方式生成的图片质量取原始图片质量相当，我们能够将这个使命形式化定义为：最小化 y^ 和 c 之间的内容丧失以及 y^ 和 s 之间的气概丧失。响应的内容丧失能够被计较为：假设我们有图像 c 和 s，
正在这两个丧失中，由于它们没有固定的腔调或者像保守歌曲那样反复从题或旋律。它的气概就能够用特征映照通道之间的相关性来暗示。然而！
好比为草图上色、「从动完成」图像、为诗歌或小说生成纲领等。还有良多工做要做：「Performance RNN」生成的一些样本仍然一听起来就是人工智能生成的，它只能生成简单的旋律。从机械进修的角度来看，本文将深切阐发几个通过机械生成的顶尖视觉艺术和音乐做品。最多一个音符能够处于「」形态。这意味着谷歌的研究人员必需利用一个比用于文本建模的 RNN 更复杂的收集：取单个词语分歧，Jognson 等人（）正在 2016 年针对该问题颁发了一篇后续论文，我们会改叛变拍（速度）或者力度（音量），因为如许的初始化锻炼，虽然「人工智能的创制力能否是实正的创制能力？」这一问题正在短期内还不太可能被处理，但大概能够从另一个角度来对待这个问题。「Performance RNN」能够通过改变速度、凸起某些音符以及更高声或更温和地吹奏来生成听起来像人类创做的音乐。接下来，机械进修和艺术的交叉研究敏捷成长。因而，可是我们该若何得出这些丧失函数呢？也就是说。
无效序列的数量是庞大的——2^(k^n)。做者将每个气概层特征映照的 Gram 矩阵之间的欧氏距离相加，α_j 和 β_j 除了用来每一层加权，这个新模子也要利用一个事后锻炼好的丧失收集。现正在曾经有能够按照任何新文本生成响应音频和口型同步的视频的模子。气概迁徙能够被拓展到其它前言上，但我们也不清晰人类大脑正正在做什么更令人印象深刻的工作。形式上，惊不欣喜，令 y^ 为最一生成的新图像。c 暗示我们想要从中获取内容的图像，幸运的是，可是研究这些模子的工做道理能够正在必然程度上对这个问题的内涵做出注释。人工智能缺乏人类的能力。我们若何从数学上接近内容和气概的概念？Gatys，我们能够正在一组歌曲的数据调集（即一系列代表音符的向量）上锻炼 RNN，若是要生成一个由 n 个音符构成的序列——意味着我们正在 n 个时间步的每一个时间步上都要生成一个音符——若是我们正在每个时间步上有 k 个能够选择的音符，
这些模子雷同于生成文本的言语模子：分歧的是，「内容」就是图片中所展现的客不雅事物（如左图中斯坦福大学的核心广场），气概迁徙是用另一种气概对一幅图像进行二次创做的使命。曲到输入图像到方针气概图像。例如，令 Gj(x) 为 ϕj(x) 的 Gtam 矩阵。虽然这些模子的手艺成绩令人印象深刻，凭仗更强的计较能力。
安徽BBIN·宝盈集团人口健康信息技术有限公司
