1.11. AI产品经理

AI产品经理的本质,是产品经理。

../_images/AI_PM.png

Fig. 1.11.1 AI_PM

就像互联网产品经理刚出现的时候也没有真正的一套知识和技能体系供大家去参考,目前的互联网产品经理的知识和技能体系也是随着各大公司招聘要求相互碰撞和产品研发过程中不断摸索所得到的一个共同体系,现在的AI产品经理,由于没有大面积成熟商业产品落地,现在所面临的知识空窗期只能说更为严重。

1.11.1. 产品经理历史与技术迭代

1.11.1.1. FMCG PM

诞生于快速消费品时代,以宝洁公司品牌经理岗位的设置及制度的成型为标志。产品经理其实是品牌经理,他的主要职责是负责这个品牌的市场定位、营销推广、渠道建设,协调推进各部门共同为新产品提供全方位的服务。产品本身是高度同质化的,一个产品究竟是一亿量级还是十亿量级,取决于产品经理的品牌营销能力

宝洁公司采用多品牌战略:洗发水领域常见的飘柔、潘婷、海飞丝都是宝洁旗下产品,消费者不管选哪个产品,对于宝洁公司而言都是赚的。除了日常用品,顶级的SK-Ⅱ也是宝洁旗下的36

对于企业来说,品牌即定位,一个好的产品往往会将其品牌与消费者的认知固定在一起。很多时候,一家企业要做不同的用户分层,既有物美价廉的大众产品,也提供高端价位的特级产品。如果都用一个共同品牌,难免造成消费者的认知混乱。

例如,伊利和蒙牛是大众经常选择的平价牛奶,如果高端定位牛奶依旧沿用自有品牌,那么从价格方面就很难让消费者接受。因此,两家在高端定位的牛奶品牌方面分别推出了金典和特仑苏。

除了快消品行业,如今很多大公司选择孵化产品或者创立子公司,一定程度上与多品牌战略有异曲同工之处。

1.11.1.2. IPM

IPM (Internet Product Manager),互联网产品经理是互联网公司中的一种职能,负责互联网产品的计划和推广,以及互联网产品生命周期的演化。根据所负责的互联网产品是用户产品还是商业产品,可以分为互联网用户产品经理和互联网商业产品经理。用户产品经理最关心的是互联网用户产品的用户体验,商业产品经理最关心的是互联网商业产品的流量变现能力

互联网产品经理还可以有如下2个分类维度:

  • “产品形态”维度:PC客户端产品经理、网站产品经理(Web/H5)、移动端产品经理(iOS/Android)、Server产品经理……

  • “行业领域”维度:工具产品经理、社交产品经理、电商产品经理、O2O产品经理……

1.11.1.2.1. “互联网产品经理演进史”

消费品时代,产品经理(Product Manager)的本质是“营销产品经理”。因为需求相对明确、产品同质化、生产标准化。 软件时代,PM本质是“项目产品经理”。因为需求相对容易明确,用户对产品体验要求不高(选择少,必须用)——PM“在管理生产上更能创造价值,沟通协调,版本控制,按时交付。” 互联网时代,PM本质是“需求产品经理”。因为需求+体验,能产生更大价值。

1.11.1.2.1.1. 互联网时代特性 17

一、

  • 信息复制分发的边际成本降低 分析 关键变化:连接让信息快速交互传递 –> 全新的产品类别:在线信息产品 –> 互联网PM 信息分发历史:信件 –> 报纸、杂志 –> 软件(光盘、软盘)

  • 信息过载 31 分析由于互联网的信息的快速传输、数据的海量共享,使得大量冗余的信息充斥着人们的眼球。

  • 用户量巨大 多生产、多供给一份信息的边际成本降低 –> 信息传播极快;免费信息 –> 转化用户群极大扩展; 导致 在线信息产品极易爆发增长 互联网使信息传播和沟通更加高效,用户更易接触、度量、比较不同的产品; 导致市场竞争激烈,出 现马太效应

二、

  • 快速迭代:市场反馈快,产品生产交付快,分发快;降低试错成本

  • 数据(反馈和信息)、AB测试(实现更大规模和更快速的迭代)、千人千面(基于用户反馈数据快速验证和迭代) PM上线能力:理解用户、理解交易

三、

  • 体验设计价值增大

  • 需求 + 体验:以用户为核心,横向组织资源,按需求生产和销售

互联网思维:“专注、口碑、极致、快”。互联网资讯推荐36氪、虎嗅、钛媒体、鞭牛士公众号

1.11.1.2.2. 移动互联网时代

尤其是2012年移动互联网爆发,市场上迫切需要大量的产品经理来做App,而以之前的行业储备,专业人员远远不够。很多应届生甚至其他岗位的人纷纷转行做移动端产品经理。这个时期的产品多为面向个人用户的(to C)产品,没有软件时代那么多专业限制,因此降低了产品经理的准入门槛,也催生了很多产品经理培训班。

1.11.1.2.3. 大数据、人工智能、5G时代

从2018年开始,产品经理的发展进入一个新时代。大数据、人工智能等技术日趋成熟,人口和流量红利相对骤减,消费互联网度过了快速发展期,以阿里巴巴、腾讯等为代表的巨头公司纷纷转战产业互联网。与此同时,产品经理这个岗位变得更加细分,能力要求也更加综合。

2018年被很多业内人士戏称为“寒冬”的开始,而产品经理也迫切需要从红利躺赢到实力打拼的转变。岗位更加细分,其中数据产品经理、策略产品经理、商业化产品经理等需求旺盛,各个公司都需要专业人员提升用户转化率和盈利收入。同时,对于产品经理的能力要求也更加综合。

1.11.1.2.4. 互联网 VS AI

../_images/Internet_VS_AI.png

Fig. 1.11.2 互联网时代 VS AI时代27

1.11.1.2.5. AI产品经理与之区别 8

../_images/Product_center.png

Fig. 1.11.3 产品

1.11.1.2.5.1. 数据集优先

AI PM首先创建/收集一个代表问题空间的数据集。只有这样,他们才会要求工程师对问题进行迭代,以提供需要解决的问题90%的准确性。而不是画UX。

https://appen.com/ 26

法律法规和国家政策: 28

  • 数据与隐私保护(egGeneral Data ProtectionRegulation)

  • 各种协议(开源软件、公开数据、公共数据集)

  • 大数据、人工智能战略(eg教育领域)

1.11.1.2.5.2. 广泛涉猎 18

与互联网产品不同,AI产品经理需要广泛涉猎不同行业不同地域的操作习惯,借鉴硬件、软件行业的优秀的交互,不断总结,思考更为轻松、自然、平顺的产品体验。

1.11.1.2.5.3. 真正的“需求产品经理” 16

AI行业(产品/市场)变化太快,而且是大调整。最多6个月,如果不去接触一线的情况,就会突然发现自己不熟悉市场了。

客户希望你解决他们的问题;他们不在乎你用的是哪种神经网络。你可能会发现自己根本不需要AI,这也没什么。

总之,机会多、难度大、变化又快又大,导致老板得承认自己的知识背景和精力有限,可能无法兼顾所有可能方向,必须让AI产品经理成为细分领域的小CEO,来做决策和承担更大压力。

1.11.1.2.5.4. 需求验证更为重要

对于AI产品经理来说,产品能够达到60分的可用及格线往往比开发一款完美产品更为重要,只有我们能够通过技术验证场景,该一款产品才有可能进行商业落地,往往AI产品经理会遇到一个窘况,自己好不容易发现了一个场景需求,在个人看来通过人工智能手段能够大大提高效率,但是在经过半年甚至一年的技术验证之后发现并不能

1.11.1.2.5.5. 技术迭代更为快速

研究人工智能翻译的人写的一段话,大致的含义就是他看了谷歌的一篇关于智能翻译的论文,发现自己之前所有的技术积累都已经落后了。关注前沿的行业技术更新就显得更为重要了,往往去年的某一个需求验证没有通过,但是随着时间推移又能够通过技术手段进行解决了

1.11.1.2.5.6. 与传统替代品博弈 39

概率论是AI产品的逻辑基础,所有的AI产品不像传统的互联网产品解决绝对的数据运算问题,而是某个需求在一定概率上得到解决,所以交付给用户的AI产品所能达到的解决概率,用户或客户是否能够接受。另外AI产品需要借助大量数据进行算法模型训练,所花费的成本,相比传统产品要高出很多。在产品定价上,如何与传统的替代品进行博弈,平衡投入产出比。

1.11.1.2.6. 确认自己是AI PM吗? 25

  • 你是否首先查看了你的问题空间并收集了唯一的数据源?然后让开发者努力达到市场所要求的解决问题的准确度?

  • 你了解你的AI性能/基准测试数据吗?

  • 你的训练数据集是独特的和有区别的吗?

  • 你的产品是否包含了所有合法的数据?

  • 你是否一直在寻找额外的数据来源来继续改进你的产品?

1.11.2. AI产品经理的工作特点及发展方向:1

把AI产品经理分为四个象限,分别是:

  1. 突破算法产品经理,在大企业的研究部门、实验室,主要面向基础算法的更新迭代,强调对底层算法的逻辑理解、项目协调能力、竞品收集分析能力。在国内主要分布于BAT等一线互联网企业,或者讯飞、商汤等AI为主的企业;这类产品经理日常工作以研究为主,失败大于成功,不过没有苛刻的KPI,多为学术型人才。

  2. 创新产品经理,多为技术出身,在某个技术领域是个专家型人才。投入到初创公司,利用所掌握的技术能力,设计创新型产品,担任主要产品的设计工作,可以说是公司的关键人物,多是应用最新的前沿技术,结合垂直场景或领域,设计出创造型产品。

  3. 交付产品经理,多为产品出身,AI技术能力不是长项,但产品能力扎实,熟悉成熟AI技术,主要面向时间业务场景的AI落地,强调对行业的业务理解,典型场景分析,制定产品落地方案。

  4. 普及行业产品经理,多为非技术出身,熟悉成熟的AI技术能力,熟悉市场上成熟的AI产品,且具备深刻行业理解力,分析AI行业落地方向,能够很好的完成相关AI产品的拆解、分析、改造,从而制定产品整体规划方向,面向算法需求提出。

../_images/+AI+.png

Fig. 1.11.4 +AI+14

../_images/AIPM_ability.png

Fig. 1.11.5 AI PM 能力模型

1.11.3. 负责

  • 决定AI产品的核心功能、受众和预期用途(竞争优势)

  • 评估输入数据管道,并确保它们在整个AI产品生命周期中得到维护

  • 协调跨职能团队(数据工程、研究科学、数据科学、机器学习工程和软件工程)

  • 决定关键界面和设计:用户界面和体验(UI/UX)和功能工程

  • 将模型和服务器基础设施与现有软件产品集成

  • 与ML工程师和数据科学家一起进行技术堆栈的设计和决策

  • 交付AI产品并在发布后进行管理

  • 与工程、基础设施和站点可靠性团队协调,以确保所有发布的特性都能得到大规模支持

  • 负责人脸识别硬件产品的产品设计及客户对接工作。以客户为中心,持续进行产品迭代、项目周期管理及商业变现探索

  • 负责设备端算法的场景化提升工作,协同算法及测试同学,持续优化数据闭环、效果评估、模型迭代等统筹及推进事宜

  • 负责协助销售、运营、市场等部门或角色,进行定价设计、推广策略、线上线下活动等事宜的推进与落地 46

1.11.4. AI 产品三要素 34

核心技术、产品化、商业化三要素

  • 核心技术:警惕“零感知”、领跑

  • 产品化:快速了解、传递价值、融入生活

  • 商业化:商业化则决定了产品将价值变现的能力

1.11.5. AI PM 主要能力

../_images/PM_ability2.png

Fig. 1.11.6 PM能力模型

一个合格的AI产品经理在具备传统产品经理能力模型的基础上,应该熟悉AI技术的效能与边界,对AI产业的三驾马车算法、算力、数据有一定的理解(对PM来说不要求上手coding,但是要对实现原理要理解),并且对部分垂直场景业务逻辑深耕,甚至达到跨领域协作的产品境界。展开来谈,这部分,我围绕算法、算力、数据、硬件、系统架构、业务六个维度来解释AI产品经理所需要的能力加成。2

../_images/AI_PM_knowledge.jpg

Fig. 1.11.7 人工智能产品经理的知识体系47

1、 技术能力,AI产品常常要深入算法逻辑,产品经理不要求具备编码能力,但需要理解各团队的工作流程及模式特点,尤其是基础算法的业务模式。为了提需求写MRD和PRD、产品卖点、产品竞争优势、产品销售打法。

PyTorch PM 回忆 1.0 版本诞生记:从科研到落地

  • 算法:算法就是计算或者解决问题的步骤。想用计算机解决特定的问题,就要遵循相应的算法。

  • 算力:算力简单来说就是实现算法功能的资源要求,可以按照云、边、端来分类,云即云计算、边即嵌入式、端泛指服务器类资源,而这三者的背后核心都是集成电路,也就是芯片。嵌入式硬件:包含嵌入式微处理器、存储器(SDRAM、ROM、Flash等)、通用设备接口和I/O接口(A/D、D/A、I/O等)。实现一款产品往往还包含了外围元器件,比如 GPS、气压计、超声波、PIR 等等。作为PM的你就开始想了,需要多大的算力、运行内存预计需要多少、人脸库以及视频/照片存储需要多大的空间。是手动唤醒设备还是无感的呢?分别用什么元器件可满足需求呢?满足需求的情况下,预计硬件成本是多少?性能是否足够?

  • 数据:数据包括这两层理解。第一层意思通用数据分析能力,这里不仅包括针对PV/UV/访问时长/新用户人数等运营指标的数据分析,更深一点的还会包括以分布式数据处理为核心的大数据技术(hadoop/spark/Hbase/Kafka等等),当然产品经理去了解大数据知识不是为了开发,而是为了在产品设计之初就协同研发一起评估中长期的技术需求和能力边界。 监督学习:不断地用标注后的数据去训练模型,不断调整模型参数,得到指标数值更高的模型。除此之外延伸的数据清晰、数据入库、数据验证、数据可视化等工作。数据是新的用户界面、用户体验。50

  • 硬件:AI硬件产品经理来说,还需要关注摄像头、门禁设备、传感器等硬件知识。

  • 系统架构:了解Hadoop、Spark、Hive、ES、Flink、Kafka等组件,清楚各个组件的作用以及如何进行连接,更多的是对工程化有一定了解。38

以无人机产品为例

硬件方面:

  • 处理器:计算平台,需要满足飞控、视觉算法(目标跟踪、Vslam等)算力要求。

  • 传感器:GPS、激光雷达、视觉传感器、陀螺仪等数据采集器件,需要满足功能效果。

算法方面:

  • 飞控算法:飞控的性能要求,PID 控制、目标跟踪、手势识别等

  • 定位导航:因为飞机不是在单一环境下运行,有可能GPS信号没有/不佳,光线环境佳等。需要多传感器融合,比如视觉+气压计+超声波+GPS 。

  • 虽然算法产品经理有深度,但需要更高的广度去完成一个产品设计。

数据方面:

  • 各传感器的效果决定了数据的质量。

2、 分析及沟通能力,因为AI常常会涉及底层AI算法、工程化SDK开发、业务PASS中台开发、前端业务开发、智能硬件等多个团队,因此产品经理需要具备整体思维,对端到端的整体架构及相互模式有总分认知,能清晰定位问题点,具备与业务端及技术端的翻译能力,这样才能有效定位问题点,将各团队业务有效协同。

3、业务能力,随着AI技术的日益成熟,AI的行业落地正成为重点关注的方向,因此产品经理需要有行业知识及业务落地分析能力,不用了解细化业务流程,但需要清晰典型业务场景。

对于AI产品经理来说,思考的核心可以有两个走向(开源节流),第一个走向是传统问题能否利用AI技术更低成本的解决(节流),第二个走向是是否能利用AI技术创造需求并创造付费模式(开源)。

同时,我认为术业有专攻,优秀的产品一定是在特定行业垂直领域反复打磨的,因此一个合格的AI产品经理对某个业务领域一定要有深耕的,才会厚积薄发创造出更有沉淀的产品,AI产品经理本质上还是一个产品经理,一定是以业务为导向的。

1.11.5.1. 数据驱动 36 数据分析

“数据驱动”的思维和能力也是AI产品经理的特需。为啥?因为AI跟数据是强关联的,所有对AI的训练和迭代都离不开数据,这也导致产品经理日常需要更关注数据这个闭环,不仅要依赖数据功能上线后的评估和优化,还要运用数据进行策略设计。

将数据视作企业生产经营的原材料,“数据驱动”的过程可理解为DIPOA模型,即Data—Input—Process—Output—Action Point,数据作为生产要素,输入到数据应用的程序化链路中,经过一定步骤的加工与处理,形成相应的输出,再将这些输出作用到对应的作用点上产生价值,完成“数据驱动”的一次作业链条。DIPOA模型是参照经典的SIPOC模型来进行设计,能以传输链条的形式生动的解释“数据驱动”的作用过程与机制。

../_images/DIPOA.png

Fig. 1.11.8 DIPOA

1.11.5.2. 怎么衡量“懂技术”7

无论你是三个阵营中的哪个,你的技术知识,应该帮助你回答下面几个问题:

  1. 人工智能技术可能会给你的产品带来多大价值?因为产品永远是需求驱动,而非技术驱动。别忘了,再前沿的技术,从理论到产品落地是有巨大投入的。

  2. 从技术角度,将人工智能技术应用到你的产品中需要哪些资源或准备?例如需要更多的数据,更完善的算法模型?尽管很难量化这样的需求,你还是要尽可能的掌握更多信息去做判断。

  3. 从技术角度识别人工智能领域中的哪些理论已经有了最佳实践,即需要判断技术的成熟度。

当你在将AI技术应用到产品中时,你应该能够给出答案:

  1. 识别人工智能带来的价值是否真的被客户认可?这样的技术真的比传统技术更好吗?你需要多长时间或多少样例数据来验证你的人工智能产品已经站住脚了?

  2. 一旦产品上线后的效果没有预期好,你是否有备用计划?

  3. 任何一个机器学习功能的上线都需要占用研发80%或更多的时间来完成对数据的准备(机器学习对数据的准备更占用时间),你是否已经和研发部门充分沟通并达成一致?

1.11.5.3. 技术瓶颈 9–可解释性

  1. 深度学习对于技术人员的经验依赖性依然很强,调参、收集数据、架构设计等没有通识的普遍规律,黑盒下的操作还是占很大比例。

  2. 对于每个技术背后的原理,知识体系往往存在着断层,很多过程我们是无法用语言或图像描述出来的。

  3. 算法可视化很苦恼,可能连设计者都无法用任何方式将内在的原理可视化给用户看。

1.11.5.3.1. Google总结了可解释性原则如下10

  • 了解隐藏层的作用:深层学习模型中的大部分知识都是在隐藏层中形成的。在宏观层面理解不同隐藏层的功能对于解释深度学习模型至关重要。

  • 了解节点的激活方式:可解释性的关键不在于理解网络中各个神经元的功能,而是在同一空间位置一起激发的互连神经元群。通过互连神经元组对网络进行分段将提供更简单的抽象级别来理解其功能。

  • 理解概念是如何形成的:了解神经网络形成的深度,然后可以组合成最终输出的个体概念是可解释性的另一个关键构建块。

1.11.5.4. AI 团队

../_images/AI_team.png

Fig. 1.11.9 常见 AI 团队架构图

../_images/AI_Position.png

Fig. 1.11.10 示例:ultralytics

数据组负责整理和分析数据。AI 算法组是公司的工程基础。随着公司团队的成熟,可衍生出 AI 研究组。平台组负责部署、维护和扩展关键基础架构。有些公司会成立硬件组专注物理产品的开发。 AI 应用和产品组在产品的生命周期中开发和管理产品。商业化团队由销售、市场营销和法律等专业人才组成,以确保产品能够成功发布并被市场接受。

  • ML产品经理:制定任务优先级,推进项目进展

  • DevOps工程师:部署和运维线上系统

  • 数据工程师:构建data pipeline,数据存储基础,相关监控等

  • 机器学习工程师:训练和部署模型

  • 机器学习研究员:更面向未来的算法技术调研和前沿探索

  • 数据科学家:一个非常广义的职位,总体来说会更偏向算法,数据分析与业务连接部分

../_images/ML_roles.png

Fig. 1.11.11 ML角色

1.11.5.5. 整体内的角色

../_images/talents_structure.png

Fig. 1.11.12 人才架构52

1.11.5.6. 行业解决方案经理

行业方案经理主要是企业从单产品或产品组合的销售模式转型向行业项目销售模式中产生的一个PM型岗位。卖的不再是某几个产品,而是整套解决方法方案。

垂直行业方案也分不同发展阶段,这里不多赘述。就讲一下大概AI+行业的价值所在:

对企业来说:AI+行业方案能有效的帮助企业从产品组合式销售中脱离出来,变成一个通过帮客户解决业务痛点的端到端solution,对客户来说吸引力更高。而AI由于带来数据结构化提取能力上的提升,海量的结构化数据能帮助企业向大数据公司和云服务公司转型,毛利更高,销售额更高,能有效提高经营利润,缓解价格战的压力。和客户双赢。

对客户来说:通过大数据、云服务和AI技术的业务融合解决方案能解放很大一部分运营效率和提升经营能力,能为客户解决痛点需求,会有非常大的方案吸引力。

而行业方案经理就要求必须懂垂直行业,懂客户需求,想尽办法给客户创造价值,所以好的行业方案经理不光要懂传统产品,也要懂软件平台,懂云服务,懂AI,懂数据分析,懂业务模型…等等。这样才能规划开发行业产品和有价值的行业解决方案。

1.11.5.7. AI产品经理与编码技术人员的关系(区别于算法技术人员)4

张小龙、雷军、雷军认为其在金山的优点是勤劳,缺点是没有顺势而为,说白了什么叫顺势而为。笔者理解顺势而为就是产品思维,以用户为中心的思维再来看张小龙。

张小龙做微信的时候他指出:一个亿级用户的产品经理,无需做到透彻思考人性和产品的所有方面,但需要在极端现实主义和极端理想主义之间取得平衡。做产品力求简单美,要满足用户“贪嗔痴”。

关心的是用户!!!

1.11.5.8. AI产品经理与算法技术人员的关系4

https://www.huaweicloud.com/articles/2601e7a22d803b2052be0f60aed12183.html

Fig. 1.11.13 20 万、50 万、100 万年薪的算法工程师在能力素质模型上有哪些差距?

『你的边界在哪?技术型产品和技术的边界在哪?』 技术负责给出问题的解,而技术型产品负责给出要求解的问题。

像灵犬的产品经理还要写灵犬反低俗助手产品的产品介绍、产品Q&A。产品用户调研、产品推广,产品策略制定例如通过灵犬小程序产品可以收集数据来优化今日头条的本体反低俗模型产品。

什么需求?为了解决今日头条本身平台上鉴定低俗内容的

行为:检测其阅读内容的健康指数,输出对应的分数、评级和结论。不同于色情信息,处理低俗信息的一个难点在于,人们对于低俗的判断标准具有一定的主观性,合理筛选难度大。团队根据测试员的意见反馈

  1. 灵犬的色彩以及对搜索框居中设计的布局可见灵犬是个单独的产品模块即可称之为独立的产品。

  2. 命名实体(NER)技术用来识别里面人名、地名、事物的名称等关键名词

  3. 灵犬反低俗助手产品的产品介绍、产品Q&A、产品用户调研、产品推广、产品策略制定。

AI产品经理应该能够使用设计专家使用的快速创新工具,包括用户体验模型、线框和用户调查。在这个阶段,确定产品要解决的问题或机会也是至关重要的。在他的文章“产品经理的机器学习”中,Neal Lathia将ML问题类型分为六个类别:排名、推荐、分类、回归、聚类和异常检测。AI PM只有在尽可能准确地确定他们想要解决的问题,并将问题归入其中一个类别之后,才能进入功能开发和实验阶段。22

AI产品经理在需求评审【由项目经理(有单独项目经理的公司)组织产品经理、研发人员、测试人员、UI 设计人员听产品经理讲解需求的过程12】的阶段,需要与算法共同明确的主要有以下几点:11

  • 模型目标

  • 特征选择

  • 数据采集

  • 验收标准

至于数据预处理、模型选取、特征工程、调参等等部分,如果你有精力和能力去理解那自然是好的,但如果不能,只需要理解算法运作的基本原理即可。

1.11.5.9. 编码技术人员与算法技术人员的关系

在软件开发中,无论是多么匪夷所思的 BUG,大都能查出具体的原因并给出修复方案,这个问题是确定的。

但在视觉模型这边,无论是多么合情合理的 bad case,大都只能给出合理的推测:缺特定场景的数据?超参数不合适?没收敛好?那补数据、调参、重新训练之后一定能解决这个问题吗?会不会按下葫芦浮起瓢?不知道。这个问题是不确定的。

1.11.5.10. VS 数据产品经理 19

四分五裂的数据产品经理

  1. 设计数据仓库、统筹数据治理的

  2. 做B报表搞可视化分析的

  3. 规划画像标签体系、数据中台的

  4. 设计DMP、运营策略平台的

总之,凡是核心依赖于数据,产岀物是可交互操作的实体,就都可以算成数据产品,而做这些东西的非研发人员,也自然就都是数据产品经理。

1.11.5.10.1. AI 产品 VS 数据产品

../_images/data_vs_AI_product.jpg

Fig. 1.11.14 AI 产品 VS 数据产品5

第一层,数据治理层面,数据产品经理在数据治理层面会将数据整体做治理,纵向上梳理业务来源、到数据仓库再到数据集市的数据处理方式,横向上梳理数据主题、数据规范和存储模式等数据模型,在这中间再孵化出如数据开发平台、质量监控平台、数据资产管理、任务调度平台等等。

../_images/AI_data_PM.jpg

Fig. 1.11.15 一体两翼

第二层,数据/算法平台层面,数据产品经理基于已有的数据情况,建设对接业务方的通用能力,包括建设通用型用户标签和人/货/场的画像体系,建设通用的广告营销平台,建设通用的查询分析平台等。

AI平台型产品经理,这里的平台可以是数据众包平台、AI能力开放平台、AI训练平台,都是将数据标注能力和算法模块能力做上层延展,对内或者对外形成通用能力的输出。以数据众包平台为例,可以是数据标注的交易撮合平台,也可以是将内部的标注能力直接对外输出,这样一方面可以不但可以获取直接的人力收入,也可以间接获得数据收入。而AI自助训练平台,则是将基础模型(如基础图像分类模型)包装成可流程化、可视化的训练过程,让非算法同学可以参与到训练过程中,自己完成模型的训练和优化。

第一层和第二层往往会有交叉,公司内部如果愿意搭建AI中台,那么第一层和第二层上的内容就应该是整合打通的,从数据流入、标注到模型训练过程,整体做到可视的一体化产品。

第三层,业务应用层面,数据产品典型的像字节跳动典型的推荐系统,整体可以划分如客户营销体系、客户风控体系、决策分析体系(如管理驾驶舱等)。AI产品则是在可以明确边界和可收敛识别规则的业务场景进行应用,包括语音、计算机视觉、自然语言处理的场景,典型的如内容审核(判断内容是否违规)、内容理解(判断图像中是否存在的目标和场景)、写诗机器人(将诗的固定模式提取后进行诗句输出)等。

1.11.5.10.2. 产品目标不同

数据产品经理的产品目标是用数据确认确定性的需求;AI产品经理的产品目标是创造性的解决不确定性的产品需求。

当增长遇瓶颈;当产品不能精准的推荐给用户;当生产效率变低;当产品经理不能预测新的产品需求和新的服务需求;当人力成本变高,当有些固定流程的工作可以被机器人代替;

前类主要是数据产品经理要解决的问题,通过数据来验证产品提出的产品需求的正确性,通过上线后的数据来发现产品需要迭代改进甚至创新的点,通过数据分析,数据挖掘发现原本发现不了的产品问题,改进问题。

后类主要是AI产品经理的产品目标,AI一方面能帮人节省时间,另外能预测原本发现不了的产品和服务需求,还有AI能够解决不确定性的产品服务需求。

1.11.5.10.3. 产品过程步骤不同

数据产品经理的数据分析的步骤一般可以分为如下6个步骤:

  1. 明确分析的目的

  2. 数据准备

  3. 数据清洗

  4. 数据分析

  5. 数据可视化

  6. 分析报告

AI产品经理案例:训练神经网络经典案例拆解:

  1. 选定一个基础模型

  2. 设定初始化参数代入模型

  3. 用训练集对模型进行训练

  4. 通过一些数量指标,评估训练误差

  5. 如果训练误差不满足要求,继续调整参数

  6. 重复7–8次

  7. 采集新的数据,生成新的数据集。

1.11.5.11. 懂不懂AI技术?懂的程度?

产品经理是发现需求并在不确定的需求里面确定需求,而Kaggle一类的思维模式是辅助识别需求。

从算法工程师的角度切入做产品经理的人比比皆是,但是非算法工程师出身的产品负责人人数更多。

柔宇的刘博士懂柔性传感器技术,但是需要帮这种技术产品化,故此需要用柔性显示+做出柔记(柔记:一种写在真纸上,记载在AI芯片里的智能手写本),抢在三星之前发布柔性可折叠手机做出柔派(柔性技术+AI+新交互的手机和PAD同体款),早日做出柔派是要抢占用户心智。

1.11.5.12. 思维VS技术

如果方向和方法错了你越执着于执行和操作,你错的越深你的产品越没有用户和客户。

我们常说:需求是洞,产品是钉子,技术选型是锤子,即AI产品经理本质核心工作是持续从用户需求出发,满足用户需求。洞察、分析、不断的满足用户需求。

真正由 AI 驱动的产品并不多,理性认识你负责的那个模型对项目到底有多重要,可以更合理的调配工作时间与精力,也能在和外部对接时省去很多不必要的口舌。

1.11.5.13. 分饰角色

如何平衡炼丹、工程和业务?这得看你在实际工作中分饰几个角色。

如果三个角色都是你自己来,那么这就只是一个时间和精力分配的问题。

如果只是模型的训练和部署由你负责,那么这就是时间和精力分配+与产品有效沟通两个问题。

以上两种情况都有大量的先进经验可以借鉴,建议直接站内搜索。

如果算法工程师只负责训练,问题会相对复杂一些。

1.11.5.14. 缺乏角色 22

缺乏特定的角色定义并不会阻止成功,但它确实引入了随着业务规模的扩大而积累技术债务的风险。重要的是,一个组织的整体数据战略包括路标(可能是产品管道中的阶段),标志着升级AI资源、技术和领导力的适当时间和条件。这一责任落在行政领导身上。如果没有高管的支持,强大的人工智能产品管理和工程领导力就无法蓬勃发展。

1.11.5.15. AI各层次

美团外卖:实时智能调度

../_images/AI_cengci.png

Fig. 1.11.16 层次 15

1.11.5.16. 流程

泳道流程图:

../_images/all_process.png

Fig. 1.11.17 全流程

下图提供了与这些角色(在纵轴上)的生命周期的每个阶段(在横轴上)相关联的任务(在蓝色中)和工件(在绿色中)的网格视图:

../_images/ms_flow_chart.png

Fig. 1.11.18 微软(TDSP)

1.11.5.17. 成长路径

../_images/AIPM_env.png

Fig. 1.11.19 不同企业背景下AI产品经理的成长环境30

1.11.5.18. 学习路线

AI是一个技能型的职业,其主要的机会在于细分领域和交叉领域,AI产品经理所面临的最大的难度其实就是在于怎么去基于场景去定义需求。 主要的学习路线我个人认为可以分为三部走:

  1. 第一步,找到自己的兴趣点和特长,最好和自己之前有技能重合的领域,分技术大类的话其实也就是人机交互/计算机视觉/自然语言处理/生物特征识别等几个大类,这些大类又相对应的分出很多小类。

  2. 第二步就是要选择好自己的方向是基于平台类,还是聊天类亦或者是基于场景类。

  3. 最后一步其实就是实施转型了,这是最为艰难的一步,当然也是最终要的一步,这里我们重点聊聊实施转型这一步。

1.11.6. 误区

两个主要的非技术问题可能会阻碍AI的发展:要么你的团队过于学术化,要么你的所有项目都是长期性的。45

1.11.6.1. 不是学术研究 5

如何确定哪些任务可以用人工智能完成?如何划分数据集?模型性能不佳时如何判断问题所在?如何判断某个改进思路的可行性?深度学习项目通常需要消耗大量的资源,与其投入一两个月的精力实现某思路结果发现性能并不尽如人意,“谋定而后动”是十分必要的。目前,直接关注深度学习在实际项目实践中经验心得的中文资料还十分匮乏,本文力图对深度学习项目实践从项目选型、数据准备、训练、模型分析、模型部署全阶段的注意事项和技巧进行梳理。

学术研究的目标。学术研究的目的是为人类认识世界提供新的知识,因此很看重独创性(novelty)和 方法可复现性。创新是学术研究的核心,同样的研究问题,无论以何种形式,已经有人发表,那么该工作的创新性将大打折扣。

项目实践的目标。而项目实践的目标通常是得到一个高性能的模型,对这个模型是否独创或可复现并不看重。这并不是说项目实践比学术研究更简单,不客气地讲,有的学术研究就是在想方设法过拟合几个基准(benchmark)数据集的测试集以在论文中展示出漂亮的数字。而项目实践对模型的泛化性能十分看重,如果过拟合测试集,只会让你的老板短暂的高兴一下之后将发现线上指标十分糟糕。此外,要想做好项目实践,除了需要读论文、复现结果、产生自己idea的能力外,还需要下载处理数据、调试代码等脏活累活,这两部分同等重要。

1.11.6.2. 沉溺论文 6

不要沉溺在论文的海洋。现在人工智能正值热潮,每年新发表的论文非常多。而机器学习是实践科学,尤其是当你不是该领域专家时,事先很难知道哪种方案在实际中效果最好,通常需要尝试很多的思路。机器学习实战的过程是思路、代码实现、实验结果的迭代循环。迭代循环的越快,取得的进展越大。不要在开始前想的过多,尤其不要一开始就想着设计和构建一个完美的系统,最初的方案要越早构建和训练越好,之后根据偏差/方差分析和误差分析确定下一步的工作方向,并进行迭代。

一流论文大杀四方,灌水论文没什么价值,发论文是实习生的工作,full-time 是要给公司赚钱的,不要心存侥幸,大清已经亡了。如果没有什么厉害的成果,而你又志在 industry,不要浪费时间灌水了,好好准备面试。 48

1.11.6.3. 学生思维

读书时,我们主要是面向论文炼丹的:需求就是SOTA,数据主要靠公开数据集,我们要做的主要就是训练、迭代、刷分——这是典型的Hard & Clean Problem。

工业界不是这样的。公司是花钱请人来在用有限的资源解决实际问题的。

实际情况往往是:需求常生变、采集有周期、标注有成本、清洗要策略、训练要时间、测试卡标准。和算法工程师最相关的训练迭代,往往既不是最关键的,也不是最复杂的,甚至都未必是最贵的环节。

需求分析的重要性是显而易见的,需求都歪了后面再努力也是白给。

要对全流程有所理解,然后根据实际情况坚持以理服人,对产品划清能力边界,严防脑洞大开;对工程尽量提供更有确定性的消息,以及,文档例程不要过于放飞自我。

1.11.6.4. 唯SOTA论

因为选择SOTA != 选择未经验证的解决方案 != 选择了高风险。

除非你在做 概念验证 (PoC) 开发 或者预研性质的项目,否则一个项目的目标、成本、排期、风险点一定是在实施之前就基本确认的。用尽可能低的预算解决问题的方法有很多,但未经广泛验证的 SOTA 绝非上策。

在实践中,如果不能加数据,那么通常是 simple, solid work 更好用一点:花样百出 Attention 模块没有几个在多数任务中都能即插即用即涨点的;ArcFace 的核心就那么几行,用过都说好。

1.11.6.5. 别研究难题过长

你应该是科学的,你应该研究一些可能会花费你几个季度甚至几年时间的难题。但如果你长时间不提供业务成果,你可能会损害团队的声誉和对人工智能的信心。因此,试着在良好的理论和交付可测试的产品特性之间取得平衡,让它们成为现实。一开始,并不是每件事都能成功,这没关系。

1.11.6.6. 形势简单化

除非你即将或已经入职的公司基础设施完备、支持团队给力,不然在实际工作中难免碰到各种一地鸡毛的事情,比如:

  • 数据清洗、预处理没有合适的工具

  • 实验管理没有合适的工具(MLFlow、 Weights & Biases)

  • 结果可视化没有合适的工具

Serving Infrastructure: This includes tools for model development (such as the Cloudera Data Science Workbench, Domino Data Lab, Data Robot, and Dataiku) and production serving infrastructure (such as Seldon, Sagemaker, and TFX). 24

1.11.7. 难题 29

  • 通用产品vs定制方案

  • 完全没有数据vs没有标注数据

  • 炫酷的技术vs可怜的性能指标

  • 被宣传鼓舞的期待vs低可用性的产品

  • 产品整体指标vs个别 bad case

  • 沟通难题:与技术人员、与客户

1.11.7.1. 如何跟算法工程师沟通的

../_images/communicate2Engineer.png

Fig. 1.11.20 与算法工程师沟通51

  • 比如在真实场景中用户投诉来对齐需求,并和算法工程师沟通产品的行业背景

  • 定义边界:为了达到客户预期,必须提高xx准确率的问题。

  1. 先根据用户反馈,定位问题;

  2. 然后线上看数据,分析问题;

  3. 列出问题可能存在的根源,哪些是算法问题,哪些是工程问题等;

  4. 做了一个问题分析表,附带数据图片样本;

  5. 根据问题分析表中发现的具体问题,和 RD 沟通哪些能解决;

  • 再看自己可以做哪些事去推进,如果是新需求可能要收集更多数据,并申请标注团队资源等…

1.11.8. AI产品经理的现状和前景如何?

  1. 门槛稍高,但行业缺口巨大;

  2. 优秀的AI PM还未出现,优秀的AI产品也未出现,行业仍处于探索期,尚未形成统一的标准;

  3. AI技术的发展成螺旋上升趋势,这一次的爆发能持续多久仍不可知,但从长远的角度来看AI PM必然是值得期待的。54

1.11.10. To B/C 13

以科大讯飞为例

  1. 原有语音识别技术,要做商业化

  2. 需要结合行业找应用场景,做解决方案

1.11.10.1. TO B(汽车行业)

核心:调硏客户需求、出解决方案

  1. 熟悉行业,要求对行业必须深度理解

  2. 找客户,调研客户需求、出解决方案、投标/比标

1.11.10.2. TO C(小蛋机器人)

核心:为其他行业树立标杆

  1. 超强创新能力

  2. 注重性能的稳定性

1.11.10.3. 度量标准

对于没有成熟数据或机器学习实践的企业来说,定义和同意度量标准通常是困难的。

最坏的情况是企业没有任何指标。如果业务缺乏度量标准,它可能也缺乏数据基础设施、收集、治理等方面的规程。

AI 产品应该如何衡量?41

  1. 首先是 AI 产品的用户体验如何测量?与传统的衡量方法有什么区别?设定了哪些衡量指标?

  2. 根据什么标准来设定的这些指标?

  3. 哪些指标与 AI 相关,哪些不相关?

  4. 应用了 AI 技术的指标,产品指标是如何分解到 AI 技术指标的?

  5. AI 产品经理如何完成这些指标?(进一步提问技术细节,考察产品经理对数据和技术的理解)

1.11.11. 红线 42

1.11.11.1. 安全

人工智能产品认为可控;人工智能产品不会影响公共安全。

1.11.11.2. 隐私

出台的法律法规,比如2018年生效的欧盟《通用数据保护条例》(GDPR),2020年1月生效的《2018年加州消费者隐私法案》(CCPA),这些立法正给商业运营和人工智能带来巨大影响。

2020年7月,全国人大常委会法制工作委员会在中国人大网公布了《中华人民共和国数据安全法(草案)》,并向社会大众征求意见,这会进一步规范行业内的行为和竞争。 44

人工智能产品经理至少要评估一下四项:

  1. 评估所有产品流程中涉及用户权利的风险。

  2. 评估产品在设计或运行过程中的系统描述。

  3. 基于产品设计或运行的目的,评估过程是否是必要的。

  4. 针对识别出的风险,给出针对风险的管理措施。

减少对训练数据量的需求:

  • 生成对抗网络(GAN):通过轮流训练判别器和生成器,令其互相对抗,从复杂概率分布中取样,生成文字、图片、语音等。

  • 联合学习(Federal Learning):部分训练过程放到用户手机,将模型传回服务器,不涉及用户敏感数据。

  • 迁移学习(Transfer Learning):把一个场景学习到的模型举一反三迁移到类似的场景中的方法。

在不减少数据的基础上保护隐私:

  • 差分隐私技术(Different Privacy):在数据库检索时,加入满足某种分布的噪声,使查询结果随机化。

  • 同态加密技术(Homomorphic Encryption):在密文上进行计算,生成加密结果,解密后的结果与对明文进行相同操作产生的结果一致。核心在于,支持在加密的数据上进行查询操作,解决数据委托给第三方如云计算公司时的安全问题。

  • 提高算法可解释性,避免黑盒子事件的发生。

1.11.11.3. 道德

  1. 这是需要解决的问题吗?这个解决方案怎么可能被滥用?

  2. 人工智能产品算法的“可解释性差”、“不透明”,使得一旦发生伦理道德事故无法评判。

  3. 人工智能代替人履行社会职能的时候,产品的“不可预见性”有可能导致伦理道德争议。

  4. 人工智能产品的道德地位值得思考。

https://learning.oreilly.com/library/view/ethics-and-data/9781492043898/

1.11.12. 高风险

基于深度学习的产品很难(甚至不可能)开发;这是一个典型的“高回报与高风险”的情况,在这种情况下,计算投资回报本来就很困难。

1.11.13. 优秀的AI PM 32

人工智能产品经理的工作是分析出有价值的商业场景,并对其进行评估,评估其可行性、必要性、社会及商业价值、道德及法律框架。除分析有价值的商业场景外,人工智能产品经理还需要评估技术的可行性,评估技术能够达到的最优度,并根据内外部资源评估出产品价值与技术实现的平衡点,以及商业价值与技术成本之间的平衡点。最后,人工智能产品经理应能够通过交互体系设计出完整的产品。如果一个人能够做到以上几点,那么他会是一个非常优秀的人工智能产品经理。

思考的问题:33

  1. 算法的实现,我们需要多少训练数据?这些数据从哪里来?

  2. 模型是否需要更新?是需要定期更新呢还是实时更新?

  3. 如果更新,如何更新?在线还是离线?

  4. 推理能力是部署在终端上还是云端上?部署在终端和云端带来的推理时延能否接受?

  5. 终端计算和存储能力是否有限制?是否需要对模型进行压缩?

  6. 识别结果和操作日志如何保存并用于后续的算法优化?

成功的人工智能产品管理就是要发现正确的数据,然后弄清楚如何利用这些数据来设计一款创新的产品,让顾客满意,并让他们继续光顾。44

1.11.13.1. 最好的人工智能产品 22

在最好的人工智能产品中,用户无法分辨底层模型如何影响他们的体验。他们既不知道也不关心应用程序中是否存在人工智能。以Stitch Fix为例,它使用了多种算法方法来提供定制风格的建议。当Stitch Fix用户与人工智能产品交互时,他们会与预测和推荐引擎交互。他们在体验过程中与之互动的信息是一种人工智能产品——但他们既不知道,也不关心,他们所看到的一切背后是人工智能。如果算法做出了完美的预测,但用户无法想象佩戴所展示的物品,该产品仍然是一个失败的产品。在现实中,ML模型远非完美,因此更有必要确定用户体验。

1.11.13.2. 失败的人工智能产品 23

  1. 由于ML本质上是通过例子来训练算法,产品失败的方式呈现出各种各样的新维度(这里的图片是微软的Tay机器人,它在被放到网上后变成了种族主义者)。

  2. 一个计算一个人怀孕概率的算法,他们用它来发送优惠券和折扣————这个系统向一个十几岁的女孩发送了婴儿服装的优惠券,这让她的父亲非常愤怒:为什么他的女儿会被婴儿服装的优惠券盯上?但不久之后,塔吉特收到了他的道歉:女孩确实怀孕了。

  3. 产品的使用或应用方式与产品设计师的设想不同。无论是基于敏感推断的目标客户,还是人们刺激机器人,还是用于训练人脸检测算法的有偏见的数据集

1.11.14. 转行

“别拿你的业余去挑战别人的专业”——你只看到了别人成功的一面,却没有看到别人背后的努力付出和专业的积累。35

转型AI产品经理的三部曲:输入、输出、实施。其核心思路是,先有大量的input(AI相关信息摄入),再有干货文章输出,进而“自己给自己背书”,以此争取一线AI公司的面试和offer机会。

从大学生到AI产品经理:https://mp.weixin.qq.com/s/tvPBiuNeyjZwvL94DWw3Dw

TODO:https://medium.com/@liwdai/ai-pm-%E5%92%8C%E5%B8%B8%E8%A7%84-pm-%E7%9A%84%E5%8C%BA%E5%88%AB%E6%98%AF%E4%BB%80%E4%B9%88-ecdcbe25ef40

1.11.15. 相关问题

由于ML产品的性质,我们想给ML科学家更多的时间和空间去探索和实验。但我们需要帮助团队专注于客户的需求和愿意为之付费的东西。这就是为什么我们需要确定探索的时间,并鼓励团队尽早并频繁地从头到尾测试模型。

例如,定义数据策略并不是数据科学家的责任。这是一个战略决策,甚至在建立ML产品之前,项目经理和高管就需要达成一致。您的公司在获得训练模型对抗竞争对手所需的专有数据方面是否具有可辩护的优势?还是行业巨头已经控制了大部分数据?

仅仅让工程和产品团队了解问题是不够的。你的公关或营销了解ML产品的性质吗?利弊呢?那么我们正在做的权衡呢?做出错误预测的后果和代价是什么?公司准备好回答所有这些问题了吗? 49

1.11.16. Awesome

http://www.changgpm.com/

../_images/AI_product_test.png

Fig. 1.11.21 成为AI产品经理测试题53