0
雷锋网按：本文原载于微信公众号DT财经（微信号：DTCaijing），作者Jacob Plaster，University of Hull。原文出处：《Artificial machine learning writer》。
英国赫尔大学的数据侠 Jacob 创造了一个 “写手” 程序，教大家如何模仿《哈利 · 波特》的口吻写文章。文末还附加了 GitHub 的链接。可以亲自上手试试。今后，哪怕没有教授带你玩，你也可以写模仿 J.K Rowling 的为哈利写一段咒语啦！
我创造了个 “写手” 程序，能模仿大师写作风格哦
我最近在赫尔大学完成了我高级人工智能课程单元。它特别棒。
“机器学习” 特别吸引我的地方在于，这项技术的潜在应用看起来无穷无尽。当我成功克服了（人工神经）网络工作原理的陡峭学习曲线后，我决定是时候创作些什么了。
当我疯狂地在互联网上搜索机器学习的奇迹时，我偶然发现了个 GitHub 上的项目，使用了时间递归神经网络（recurrent neural network，RNN）来模仿莎士比亚的写作风格。我很喜欢这个创意，也想试着创造一个不一样的属于我自己的版本。
（DT 君小课堂：RNN 包含输入单元（input units）群、输出单元（output units）群和隐藏单元（hidden units）。这些隐藏单元完成了最为有意思的工作，它们就像魔法，让你输入的话变得更像莎士比亚和哈利波特。训练 RNN 存在很多相当具有挑战性的难题，而这仍是一个非常活跃的研究领域。感兴趣的童鞋，可以戳这里来看。）
我写了一个人工机器学习 “写手” 程序，试图通过训练它来模拟人格并模仿著名作家的写作风格写作。我们将尝试模仿莎士比亚，J·K·罗琳和网络上随机的博客。
这个 “写手” 程序将会这么来做：通过训练数据逐步增加句量，利用 NLTK 把句子拆解转换成词性标注，训练象征符号的结果，再次增加句量，然后训练词性标注出现的概率。
许多程序尝试通过分析文本来预测特征出现的概率，然而并不准确。而我的这种方法总是能有好的结果。
数据分类和归一，都是为了有一个好的模仿对象
（DT 君小课堂：接下来作者就要对数据做分类了。分类是数据挖掘领域中一项非常重要的任务。自然语言处理 NLP 中，一般的模式分类方法都可用于文本分类研究。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法、基于支持向量机 (SVM) 的分类器，神经网络法，k - 最近邻法 (k-nearest neighbor，kNN)，模糊分类法等等。）
我决定使用 scikit 机器学习库。它使用和配置起来都特别简单。Scikit 有着庞大的社区，里面包含了大量的教程和许多可以用来训练你的神经网络的样本数据集（example datasets）。我并没有使用原有的样本数据集，我想把无序的文本转变成归一化的训练数据。我创建的这个 “写手” 使用了多重支持向量机（SVM）的分类器，一个向量机（vector machine）用作句子结构化，多个小型向量机用于对应从词汇表中选取单词算法。
（DT 君小课堂：支持向量机 (SVM) 通俗来讲是一种二类分类模型，其学习策略便是间隔最大化，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。想要深入了解，请看《理解 SVM 的三层境界》)
我目前使用的算法能有精准的结果，这使得句式结构化非常成功。这个阶段中最大的障碍就是将训练数据归一化（normals）。
（DT 君小课堂: 归一化，简单的讲就是由于数据单位不一致，所以需要将不同的数据进行格式化，使之在指定的范围内，比如在 0-1 之间。归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。举个栗子：一张表有两个变量，一个是体重 kg，一个是身高 cm。假设一般情况下体重这个变量均值为 60kg，身高均值为 170cm。这两个变量同样是 100，对于身高来说很矮，但对于体重来说已经很大了。所以归一化就是要解决这个问题，目的是可以用数值直接来进行比较。）
我使用了 NLTK（Natural Language Toolkit 自然语言工具包）的库来先将训练数据转化成词性标注，例如：NN（名词），DET（限定词），$（符号）等等。（然后再将其归一化）
（DT 君小课堂：为什么要用 NLTK？从计算机处理的角度来看，英语或任何自然语言（口语或普通的语言）都是极不规范和不准确的，需要对它们进行整理。NLTK 还提供了一些 “词干分析器” 类，以便进一步规范化单词。）
利用这些标签, 我可以对数据进行归一化，像下面这样：
["The","cat","jumped"]= ['DET','NN','VP]
一旦归一化以后就像下面这样：
['DET','NN','VP]= [0.2237823,0.82392,0.342323]
现在我只需要得到一个目标归一化后的值（target normal），并且将它代入神经网络中开始训练即可。从二进制大对象（BLOB，binary large object）中读取文本时，同时训练推测下一个顺序词是什么。因此：
["The","cat","jumped"]["towards"]= ['DET','NN','VP]["PRP"]= [0.2237823,0.82392,0.342323][0.12121212]
接下来要做的是获取大量 J.K Rowling《Harry Potter》的资源并且准备开始模仿她的句式结构。
努力提高词汇量，这样才能 “喂饱” 我的 “写手”
词汇无疑是本项目中最难的部分，我很清楚地知道没有理由不使用递归神经网络，预测每个字母也是更好的办法。然而，我选择的方法产生非常酷炫的结果。
词汇以词序矩阵的形式包含在训练用的 BLOB 文件中。每个词分解成了词性标注接着进行归一化。归一化后的值和词汇依然被备份着，因为稍后将归一化的值转换回单词依然要利用此作为映射表。词汇看起来像这样：
[[(cat,[0.232342]),(bat,[0.2553535]),(dog,[0.345454]),(horse,[0.4544646])...]
[(run,[0.12131],(jump,0.232323),(fall,0.43443434)...]
...
1. 我们先使用小型文本 HarryPotter（small）.txt（DT 君注：作者所使用的文本，请点击 GitHub）。
这个数据集包含了 346 个训练向量（training vectors），是一个最小的训练集。
Input（输入）:"Harry dont look"（哈利不要看）
Output（输出）:"Harry dont look had at eleven for witches had been for eleven then with nothing had been for eleven then with nothing had been for eleven then with nothing had been for eleven"（哈利不要看，11，女巫，11，没有事情，11，……）
Input（输入）:"Wizards sometimes do"（巫师有时候会做）
Output（输出）:"wizards sometimes do , Harry had been been , Harry had been been , Harry had been been , Harry had been been , Harry had been been , Harry had been been"（巫师有时候会做，哈利已经在，哈利已经在，哈利已经在，哈利已经在，哈利已经在，哈利已经在）
你可以看出神经网络很努力想要学习却缺乏训练数据。它几乎就陷入无限循环中了。
2. 我们接下来开始使用中型文本 HarryPotter(medium).txt。
数据集包含了 2500 个训练向量。
Input（输入）:"Harry don't look"（哈利不要看）
Output（输出）:"Harry don't look , incredibly that a year for been parents in . followers , Harry , and Potter was been curse . Harry was up a year , Harry was been curse "（哈利不要看，难以置信地有一年父母在。花朵，哈利，波特都被诅咒。哈利长大了，哈利被诅咒）
Input（输入）："Wizards sometimes do"（巫师有时候会做）
Output（输出）:"wizards sometimes do parents."（巫师有时候会对父母做）
现在你可以看出神经网络的输出，已经生成了我们预想的结果。因为增加了训练数据，它的性能得到了大幅度提升。
3. 使用大型文本 HarryPotter(large).txt，数据集包含了 4550 个训练向量。
Input（输入）:"Harry don't look"（哈利不要看）
Output（输出）:"Harry don't look Petunia Harry , incredibly had on the address."（哈利不要看佩妮哈利，有地址）
现在，除了一个错误的停顿应该在 Petunia（佩妮）与 Harry（哈利）之间，这个句子简直完美。
不过，在这里，训练数据的增加反而给了一个负面的结果。这是罕见的。
Output（输出）:"Wizards sometimes do the address on the address on the address."
4. 接下来，要使用另一个和哈利波特无关的大型文本 MacbookAirBlog(large).txt 了。
我随机在一个博客上抓取了一份（与哈利波特无关的）文本。出乎意料的是这个数据集通常能产生更精确的结果。数据集中包含了 3576 个训练向量。
Input（输入）："Harry don't look"（哈利不要看）
Output(输出）:"Harry don't look , also of a scaling on playing . Use for Control weight goes so cable and they've of placed it . you do to want things at at 2015."（哈利不要看，比例玩起来。控制作用体重所以有线和他们放在这里。2015 年你的确需要东西。）
Input（输入）:"Wizards sometimes do"（巫师有时候会做）
Output（输出）:"Wizards sometimes do When ports a scaling the have object , also of a scaling on playing ."（当港口有货，巫术有时候会做，比例玩起来）
句式结构是正确的，但词汇有限。别急，10,000 以上训练向量的数据集马上要来了（DT 君注：具体的训练请大家移步 GitHub）
预测和测试：“写手” 不仅可以模仿利波特哦
当我们试着对下一个顺序的词进行预测时，程序生成了非常准确的结果。但是当大量序列开始生成后，准确率就下降了。我创建了一个测试单元用来比较生成的下一个词与 J.K Rowling 实际创作中的词。
我得到了下面的结果：
通过命令行，你可以看到：
python3 main.py -utss -td "Datasets/MacbookAirBlog(large).txt"
我用同样的想法测试了词汇表：
python3 main.py -utv -td "Datasets/MacbookAirBlog(large).txt"
如果预估超过 80% 就会被归为 “通过（passed）”。
以上所有的结果都来自于 “未完结” 的程序，这也就是为什么它们看起来并没有那么准确。
哈利波特的数据集就来自于电子书，当然你也可以用其他数据集。它是非常容易添加数据集，只要确保他是 BLOB 的格式。
作者注：本实验只应用于教育，永不用于商业化。如果你想查看这个项目，你可以在 Github 上看到。
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
