记录李航大佬说过(原文链接) 计算机上达到和人同等的对话能力还非常困难。现在的技术，一般是数据驱动，基于机器学习的。 单轮对话有基于分析的，基于检索的，基于生成的方法。 好吧, 我也感觉基于检索的是low的, 但是现在各家智能音箱貌似都没有突破这个坎. 大家听到的siri的b-box, 背后是一个无聊的逗逼程序员; 小爱同学的惊人语录, 写语料也许是一群抠脚大汉. 这半年的工作, 主要集中在开发一个基于检索的语义理解平台, 最近几天刚刚完成了第三版的进化. 初代目 去年年底, 刚来这里接手这项工作的时候, 老大给我的架构是简单的纯检索, 基于ES, 把事先编好的模板写到搜索引擎里. 每次收到前台请求, 将asr获得的文本扔到ES里搜, 一开始模板量比较少的时候, 分类效果挺不错的, 甚至还有...阅读全文
在Go 1.5发布时，前Intel Black Belt级工程师，现Google工程师Dmitry Vyukov同时发布了Go语言随机测试工具go-fuzz。在 GopherCon2015大会上，Dmitry Vyukov在其名为“[Go Dynamic Tools]”的presentation中着重介绍了go-fuzz。 go-fuzz是一款随机测试(Random testing)工具。对于随机测试想必很多人都比较陌生，我也不例外。至少在接触go-fuzz之前，我从未在golang或其他编程语言中使用过类似的测试工具(c/c++开发者可以使用afl-fuzz)。按照维基百科的说法：随机测试就是指半自动或自动地为程序提供非法的、非预期、随机的数据，并监控程序在这些输入数据 下的crash、内...阅读全文
众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。本文转载自明略研究院的技术经理牟小峰老师讲授的语言处理中的分词问题。 如何界定分词 中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程；在英文中，单词之间是以空格作为自然分界符，汉语中词没有一个形式上的分界符。(见百度百科) 正因为缺乏形式上的分界符，导致我们对词的认定会出现很大的偏差。1996 年 Sproat 等通过对 6 个母语为汉语的人进行调研，让这 6 人对同一篇中文文本进行人工切分，文本包括 100 个句子，最后统计认同率，见下表： 图1 不仅普...阅读全文
> 作为小微开发者，难以支付高昂的翻译费用，在线翻译又难以满足精度，所以想通过复用高质量的翻译实例进行软件内容翻译，我花了两年时间收集了2000 多万条移动 app 的翻译数据，将它们做成了一个搜索网站，期望能帮助小微开发者以更低的成本更好的质量完成软件或者网页的国际化。 #### i18n 多语言语料搜索引擎 - 网址：[https://i18ns.com](https://i18ns.com/) - 功能：支持 11 国语言搜索，包括：中文、英文、西班牙文、葡萄牙文等语言。有一千多种语言数据，超 2000 多万条数据，免费提供搜索服务。 - 详细介绍： <https://i18ns.com/help.html> - 中文搜索地址：[http...阅读全文
现在人工智能非常火爆，机器学习应该算是人工智能里面的一个子领域，而其中有一块是对文本进行分析，对数据进行深入的挖掘提取一些特征值，然后用一些算法去学习,训练,分析,甚至还能预测，那么Python中常用的机器学习库有哪些呢？ **1.NLTK** 自然语言处理里面赫赫有名的就是NLTK全称叫自然语言工具包(Natural Language Tookit),里面包含了大量的函数模块,可以获取语料库，字符串的处理，词性的解析，分类，语义解释，概率分析还有评估。 **2.scikit-learn** Python社区里面机器学习模块sklearn，内置了很多算法,几乎实现了所有基本机器学习的算法。 Python机器学习库主要包括6个方面：分类，回归，聚类，数据降维，模型...阅读全文
 模糊测试（Fuzzing）是一项使用随机数据加载我们程序的测试技术。是[对常规测试的补充](https://docs.google.com/document/d/1N-12_6YBPpF9o4_Zys_E_ZQndmD06wQVAM_0y9nZUIE/edit)，并且使开发者可以发现那些在手工生成的输入下难以发现的 bug。模糊测试在 Go 程序中很容易设置，...阅读全文
