淘宝网女装(淘宝女装店铺排行top10)

有时候,AI产品经理被认为是在不同行业、不同业务类型、不同场景下,尝试用算法技术设计产品、运营产品。那么,在智能+的红利期,算法边界的探索期,传统互联网转型+A

有时候,AI产品经理被认为是在不同行业、不同业务类型、不同场景下,尝试用算法技术设计产品、运营产品。那么,在智能+的红利期,算法边界的探索期,传统互联网转型+AI的刚需期,AI产品经理需要懂算法吗?

淘宝网女装(淘宝女装店铺排行top10)插图我们先分析一个案例:利用深度学习算法帮助淘宝女装分类。

流程如下:

第一步:搜集形成数据集;第二步:沟通团队拟定产品方法策略【比如:选择适合的模型算法】;第三步:所采用的模型算法在第一步的数据集上进行训练;第四步:比对其他模型算法的效率;第五步:上线一、数据采集及数据处理

产品驱动,产品经理确定数据收集的对象,比如确定女装的收集,向团队说明原因。

首先,产品提出需求,从淘宝网站抓取大量女装图片,并进行筛选,保留XXX高质量图片。然后将多少个子任务(上衣类别、主色图案、子颜色、主图案、子图案、肌理图案、流行元素、领型、袖长、衣长、图案、门襟、面料)分成这些图像,每个子任务都是一个独立的细粒度多分类问题,分别显示衣长、上衣类别、主色、主图案的一些样本。

最后,清理完数据后,请一些行业专家对数据进行校准和检查,保证数据的可靠性。此外,各子任务的数据分布不均匀,服装长度、主色、主图案分布极不平衡,增加了分类的难度。

二、用深度学习技术1. 框架算法选择

选择算法工程师的几个有代表性的神经网络(例如Resnet101,空孔卷积网络和压缩激励网络),在此基础上对图像进行分类。

(1)Resnet101:在深度学习的早期,由于梯度的消失,网络结构的深度一直是一个难以解决的问题。残差Resnet引入了所谓的常数快速连接,直接把上一层的输入加到后一层的输出上,解决了梯度消失的问题。

(2)空扩张卷积网络(DRN):使用深度神经网络解决分类任务问题时,保持图像的分辨率是一项非常重要的任务,即输入分辨率越大,分类效果越好。但由于硬件设备的限制,图像分辨率不可能无限提高,而DRN利用空孔卷积的思想很好地解决了这个问题,即分辨率更小的输入也能得到很好的效果。

(3)挤排网络(SENET): SENET曾获得ImageNet 2017图像识别大赛冠军。它的做法是通过学习自动获得每个特征通道的重要性,然后根据这个重要性来改进有用的特征,抑制对当前任务用处不大的特征。

2. 处理不平衡数据

算法工程师联合挖掘数据不平衡的问题,比如基于采样的方法和基于代价(损失函数)的方法。

(1)基于抽样的方法:抽样方法用于非均衡分布的数据,目的是将非均衡数据变为均匀分布。

一般来说,将非平衡分布数据变为均匀分布数据可以有效提高分类精度。常见的采样方法一般分为上采样和下采样。其中,上采样一般包括随机上采样和新数据的合成。

抽样一般包括随机抽样、引导抽样和其他方法:

其中,随机升采样的做法是:从样本数量少的类别集合 Smin 中随机复制一部分样本,然后将其添加到总样本集合 E 中,最终使总样本集合中的样本分布达到平衡。而随机降采样的做法则是相反:将样本数量多的类别集合 Smax中随机删掉一部分样本,最终使总样本集合 E 分布达到平衡。

(2)基于代价(损失函数)的方法:主要从损失函数方面解决样本分布不均衡的问题。

对于某一类,其类间的距离可能很大,所以需要添加一个约束来减小其类间的距离。对于其他类,类之间的距离可能太近,因此需要一个约束来加宽类之间的距离。

研究和使用技术,如Rangeloss损失函数,来处理分布不平衡。Rangeloss函数用来解决这个问题,其中Rangeloss是一个与样本数无关的损失函数。具体来说,Rangeloss分为两部分:类内损失函数和类间损失函数。

具体公式如下:Lr=| aLr intra+BLr inter|

作为损失函数要解决的问题是什么?

现在数据库的一个普遍问题是数据存在长尾分布。

那么什么是长尾分布呢?

其实有点类似二八定律,就是80%的财富集中在20%的人手里等等。虽然尾部的值一般很小,但由于数量较多,对一个模型的训练影响很大。

对于女装数据库来说,长尾分布主要表现在很多身份都含有少量的仿冒本,如下图所示:

淘宝网女装(淘宝女装店铺排行top10)插图(1)3.多任务联合训练策略在这些子任务中,有些子任务可能是有关联的,比如上衣的类别和长短,主色和副色,纹理图案和版型等。如果将每个子任务都视为一个独立的子任务,那么任务之间的一些相关性显然会被忽略。为了利用任务之间的相关性,技术一般采用多任务联合训练策略。许多

学习是一种机器学习的方法,涉及到一起学习多个相关的任务,如下图所示:图中的神经网络处理算法,作者的书《AI赋能——AI重新定义产品经理》里还是有写的。

淘宝网女装(淘宝女装店铺排行top10)插图(2)多个任务在浅层共享参数,最后由各自任务对应的分类器进行分类。每个子任务的分类器由一个或多个全连接层实现。训练时,每个子任务的分类结果使用交叉熵损失函数计算损失,对每个子任务的损失进行加权求和得到最终损失。

4. 技术选择深度学习框架和硬件条件

比如算法工程师会和技术人员合作,采用Ubuntu 16.04+Python 2.7+py torch 0.4作为深度学习框架,并在此基础上进行训练。训练用的显卡是TITAN XP 2080Ti。

本文对算法工程中的Resnet101、DRN和SENet三种神经网络进行了比较,看哪种算法的分类效果更好。

三、AI产品经理的工作不仅仅是“摆渡人”。

AI产品经理做的是产品需求挖掘+产品资源规划+行业专家+配合算法工程师探索合适的算法。

1. 产品需求挖掘

比如用户想在淘宝等平台购买商品时,往往会根据商品的类别和属性来筛选要购买的目标商品,所以商家会为每件商品做很多属性,方便用户检索。面对海量的商品图像数据,手工标注商品图像的属性需要耗费大量的人力和时间。

2. AI产品资源规划:步骤流程第一步:搜集形成数据集;第二步:沟通拟定产品方法策略【比如:模型算法】;第三步:所采用的模型算法在第一步的数据集上进行训练验证;第四步:比对其他模型算法的效率;第五步:上线。3. 行业专家

图片的特点是:部分商品的不同属性之间在数量上存在较大差异,即商品的属性具有数据分布不均衡的特点,如“衣服的长度”属性。在日常生活中,人们穿着最标准的到达臀部位置的衣服(普通外套、t恤等。),而其他如风衣、长裙(达到大腿或小腿位置)则明显少于达到臀部位置的。

有些商品在不同属性之间的差异非常小,可以看作是细粒度的分类问题,比如“领子”属性。有些衣领属性差别非常小,普通人很难区分。这两个问题增加了商品图像属性分类的难度。

所以首先,AI产品经理是服装行业的学习型专家。

4. 协同算法工程师探索技术边界:

基于深度学习技术,利用卷积神经网络对商品图像的属性分类进行研究。

(1)先确定范围:从淘宝网站抓取XXXXXXXXX商品图片。

(2)其次,把这些图片分成几个子任务:上衣类别、原色图案、次色图案、原色图案、次色图案、纹理图案、流行元素、领型、袖长、衣长、图案、门襟、面料。

每个子任务都是独立的细粒度多分类任务,几乎每个子任务都存在严重的数据分布不均衡问题。因此,建议算法工程师采用合适的算法。

5. AI产品经理多少还是要懂一些硬件

在新书《AI赋能——AI重新定义产品经理》及AI产品经理相关内容中,作者多次提到数据是由硬件收集的,有人称之为物联网(IoT)。另外,笔者也反复强调过,AI=算法+数据+算力,算力也是硬件提供的。

总结

AI产品经理要懂算法,和算法工程师是打磨技术的边界。如果团队算法工程师和编码工程师的技术能力非常充足,那么产品经理可以专注于非算法协作。如果团队资源不足,AI产品经理就要付出更多的经验来配合算法工程师找到合适的算法并落地。

有些产品经理看完这篇文章会觉得AI产品经理很单纯,马马虎虎的错觉,就像踩过坑,无数个夜晚都活下来的人建议不妨听听别人踩过的坑。只有判断自己是否适合做AI产品经理,才能知道自己是不是一个愿意在互联网寒冬中突破职业发展瓶颈的人。

#专栏作家#

连世禄,微信官方账号:LineLian。人人是产品经理专栏作家,《产品进化:AI+时代产品经理的思维方法》一书作者,前阿里产品专家。希望和创业者多交流。

本文由人人作为产品经理原创发布。未经许可,禁止复制。

来自Unsplash的图像,基于CC0协议。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。

作者:美站资讯,如若转载,请注明出处:https://www.meizw.com/n/132810.html

发表回复

登录后才能评论