产品化机器学习的一些思考

qcloudcommunity · · 1768 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

> 本文由云+社区发表 > 作者:腾讯技术工程官方号 “如果说互联网是优化信息的存储和传输方式,提升生产要素之间的运行效率;人工智能便是对各个生产要素的升级。” 本人初入职场便从事TOB相关工作,参与了tbds等大数据平台的产品建设,近两年逐渐接触人工智能;目前主要负责TI-ONE机器学习平台,结合自己工作经验,在这里分享一些关于ML产品的思考和实践。 **人工智能产品类型** **平台-强调赋能** 基础支撑/基础平台-通用的ML技术平台,实现常用的算法,形成通用机器学习平台(Spark/TensorFlow等),对外提供API、SDK等,为业务赋能。这类平台聚焦性能、开发效率和预测准确度。 **应用-融入场景** 突出场景闭环,如利用人脸识别、自然语言处理(NLP)等技术构建新的交互体验和用户场景。 目前市面上看到的人工智能产品都属于弱人工智能的范畴,它们通常专注于某一特定领域,有一定规则边界,是达成既定目标的工具;各个领域的初级岗位最有可能被这类人工智能替代。 **人工智能产品流程** **数据** 让人工智能产品能够运转起来的前提,首先需要寻找和积累大数据,大数据是机器学习平台必需的燃料,有足够大的燃料,平台所跑出的模型精确率会越高。 通常我们会通过中间件工具(KAFKA/tube)进行流转,将数据运输到HDFS等存储平台,包括文本、图片、语音等数据,并对其做数据清洗,特征处理等,便于加载到接下来的神经网络。 **算法、训练模型** 训练出一个有效的模型的前提,需要数据和算法两者的双管齐下;从计算模型的角度,我们通过所获取并清洗好的一组数据,配置好算法相关的关键参数来构建模型的运行,从而形成了一定的反馈路径,来达到预期的输出结果。 ![img](https://ask.qcloudimg.com/http-save/170434/onpejn8e2.png?imageView2/2/w/1620) 通过数据的灌输,建立起输入-处理-输出(IPO)的关系,加载到神经网络的训练中,学习数据中的规律并产生一个最能契合这些数据的函数表达式。在训练过程中,不断去试错和纠正,去推进模型更为精准的路上。对模型准确度有足够信心,便可把训练完成后的模型部署上去,去预测喂养新数据后的结果是什么。例输入的是人脸图片,那么输出结果便是人脸识别结果。 **应用模型** 当模型精确度足够高后,便可上线服务,实际运用到我们的系统中。典型的例子是电商系统中基于用户/物品的推荐。 **人工智能产品经理的思考点** **1.明确产品的定位,找到产品能发挥价值的地方** 在做TI-ONE初期,我们的目标是做一个通用/易用性高的机器学习平台,让方便业务接入平台。用户无需关注机器学习的运行细节,如底层用什么计算框架、用多少计算资源、应该怎样配置参数等,将注意力重点放在核心业务,同时也可以享受机器学习带来的便利。 我们把TI-ONE设定为一个拖拽式建模工具而不是类似于jupyter的交互式工具,虽然jupyter有很好的拓展性,但为了降低机器学习使用门槛和释放用户大量写代码的时间和精力,增加受众面,我们选择了把特征处理、算法以模块化的方式来设计,让用户在拖拽组件中,快速完成模型的搭建。 ![img](https://ask.qcloudimg.com/http-save/170434/p0ean2qgxz.jpeg?imageView2/2/w/1620) 在产品化机器学习的时候,发现大部分工作不是在研究复杂的公式理论,而是如何让用户在使用机器学习的过程中更顺畅,让不同步骤之间的流程如数据的准备、算法参数的填写、模型的训练/测试/筛选/部署等,能够无缝衔接。举个例子,规划及组织平台所需要的数据、用什么方式和工具来统一数据的上传、对数据的接入是否需要提供预览;如何帮助用户获得高质量的数据集,为提炼优质模型提供保障、如何高效率低成本地为数据打标签、把数据价值最大化,这些都是产品经理需要重点耗费精力的地方。 在此引用谷歌大脑高级科学家Martin Zinkevich的一句话“To make great products:do machine learninglike the great engineer you are, not like the great machine learning expert youaren’t”把工程效率提升到极致了,用户才能真正享受到算法带来的便利。 **2.产品形态的把握** 对于人工智能产品经理,所需的技能SET,不仅包括原型能力、功能逻辑、信息路径、UI设计,算法模型、数据训练等产品背后抽象的逻辑也同样重要。 比如立项一个人工智能产品,我们不能很宽泛地定位要做一个机器写作,这个需求的范围太大,会让后续功能的开发不好收敛。产品经理需要尽量参与到算法开发,了解算法的每个步骤,对涉及的环节有个清晰的概念,并在此基础上寻找和评估是否有产品化的可能性。 再比如我们要做新闻主题分类,首先需要利用网页抓取去各个网站的新闻,一般情况下,新闻网站都会分好类,可以直接记为标签。这个过程是否便可以做成一个产品化的成果。 过去的互联网产品,可能我们偏向埋头于体验、需求,不太关注技术环节;而在AI产品领域,我们必须要深入技术运转流程,才能提升我们做出一个优秀AI产品的可能性。 **3.了解用户指标背后的含义** 在评估TI-ONE产品用户数据指标时,UV/PV/月活/新增用户数等都是我们会去关注的数据指标。但若只关注实际数值,不去深究背后数据增长原因的话,有时会陷入一定的盲区。比如之前查看产品的统计指标,用户数和日均执行任务数都是一个稳定增长的趋势,但在用户调研中,深入了解了这些在平台上跑的任务,发现有一部分任务大家只用来做调度,并没有去使用平台上的算法模块,刨根问底了这部分用户才知道,因为我们平台上的算法库是黑盒子,出了问题不好定位,不如自己写代码查原因。通过这次对指标的剖析,我们也考虑将目前提供的算法进行开源和引入自定义算法模块,去补充我们对这块功能设计的短板。 **4.纵向的业务理解能力** 很多人工智能产品往往跟某一垂直行业紧紧挂钩,去解决某一具体问题;这是要求人工智能产品经理去深入整个业务流程的链条,熟悉每一个涉及到的用户场景;并且在场景中,提炼出用户最迫切需求并优化需求点,实现产品的变现。 很多不同行业、领域的人工智能产品其实背后所用到的技术逻辑都大同小异,如人脸识别技术,在安防市场,因人脸难以复制的特性,它代替了门禁卡。在公安领域,警察可以通过人脸识别,在各大重点区域,关口进行人脸的抓拍、识别,对可疑人物的信息可实时推送到警务终端,大大提升破案效率。在银行领域,人脸识别可以支持远程办理业务,刷脸开户,通过它查验身份信息,可免去需求亲自去网点办理的麻烦。 技术是相通,但不同场景的侧重点会有所不同,产品形态也会有所差异;在银行领域,人证比对设备需求会比较强。在公安领域更强调的是后台动态人脸识别系统的使用。 人工智能产品经理需要对业务场景进行反复验证、迭代,从而去判断结果概率是否能达到用户的标准,依照这些判断去做不同的投入策略。因此,了解算法的基本原理和落地的业务场景尤为重要,可以有一个相对清晰的技术框架,并且懂得在技术允许实现的范围内,规划出最优方案。 **5.关联信息的能力** 做人工智能产品需要我们加深对机器学习相关技术和应用的理解。理解好机器学习的基本逻辑,数学是其背后的原理,如微积分、概率论、线性代数都是机器学习的基础。而这些数学概念和模型往往是抽象、非直观的。 当试着去理顺这些相对复杂的逻辑,可以尝试关联信息的方法,在不熟悉与熟悉的知识之前建立连接,从个人的经验中,去寻找能够与所有要理解信息类比的部分,把枯燥难懂的知识点,与实际生活的例子相结合。 比如说我要学习线性回归,关于线性回归,提供的数学解释是假设自变量与因变量是线性关系,利用最小二乘法拟合自变量权重的一种分析方法。若单是看这段解释的话,会不太容易让人理解线性回归是在描述什么;试着去联想生活中的经验会帮助理解线性回归的概念。针对线性回归这个概念,可以通过房价波动和驱动因素来做联想,假设我们有1000条关于深圳房子的综合数据,每条数据作为一个样本,内含信贷价格、常住人口/户籍人口、工作人口/常住人口、小学生在校人数这些数据看作特征变量,房价为目标变量。线性回归解释的便是这些特征变量对房价波动的影响度。 **6.降本提效是推动人工智能发展的最强动力** 人工智能技术价值的实现,最终需要落地商业化、为行业带来价值和形成真实有效规模化的刚需来体现。目前大部分人工智能公司在做的是单一的人工智能驱动产品,如自动驾驶汽车算法、零售领域的刷脸支付、医疗领域的人工智能影像分析。所有员工工作中的任务自动化比例将提升,一部分劳动力也会被人工智能所替代。冲击较大的工种为人工客服、流水线工人、银行柜台职员等。 还有一种AI公司,不是去用某种人工智能的能力去替代某一工种的工作,而是完全重塑整个行业的的劳动力配置,比如阿里的无人酒店,从接待到打扫的服务员全都是机器人,他们没有雇佣人类员工,去利用算法取代某种类型的工种;随着低本、高效和优质的服务模式逐渐铺开并且占领市场,高昂的人力成本可能会导致对手们重新调整公司对劳动力配置。 根据来自普华永道的数据:“预计到2030年,AI将能为世界经济贡献15.7万亿美元,这相当于目前印度加中国的生产总值总和,中国公司在其中将起到非常重要和关键的作用。”相信不久的将来,会有越来越多的行业和人工智能结合在一起。如何去挖掘行业的切入点、利用AI去重塑应用场景,为实体行业提升运行效率、甚至颠覆当前的传统的商业模式,提供一套可行的AI解决方案是AI产品经理需要掌握的核心技能。 **结语** 当有了一定积累,面对工作就会得心应手,使人的行为处于一个稳定的水平,慢慢有了自己的舒适区,时间久了会不愿离开这样的状态。但若一直沉浸在一个自己非常熟悉的领域,难免被固化了行为,不过是日复一日发挥着一个螺丝钉的功效。 切换到AI领域发现,这是个一旦不保持自己技能SET更新状态便会被淘汰的领域,包括在一个项目组内的算法、开发童鞋,也是每天不断在学习,了解当前最前沿的知识。 世界总是不断前进变化和充满着不确定性,保持着自己所积累的技能和可预见/突破的挑战的平衡,逐步爬坡,穿透自己的高墙,才能拥有人生更多的可能性。 **此文已由腾讯云+社区在各渠道发布** **获取更多新鲜技术干货,可以关注我们[腾讯云技术社区-云加社区官方号及知乎机构号](https://www.zhihu.com/org/teng-xun-yun-ji-zhu-she-qu/activities)**

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1768 次点击  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传