关切微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,飞禽走兽老虎机试玩请发飞禽走兽老虎机试玩
我要飞禽走兽老虎机试玩

bet36备用网址报道深度解析京东个性化推举系统演进史_bet36备用网址官网资讯

bet36备用网址

作者:?fisherman

在电商领域,推举的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。

京东推举的演进史是绚丽多彩的。京东的推举起步于2012年,当时的推举产品甚至是基于规则匹配做的。整个推举产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集。2013年,国内bet36备用网址时代到来,一方面如果做的事情与bet36备用网址不沾边,都显得自己水平不够,另外一方面京东业务在这一年开头飞速开展,所以传统的方式已经跟不上业务的开展了,为此推举团队专门设计了新的推举系统。

随着业务的快速开展以及移动互联网的到来,多屏(京东App、京东PC商城、M站、微信手Q等)互通,推举类型从传统的商品推举,逐步扩展到其余类型的推举,如运动、分类、优惠券、楼层、入口图、文章、清单、好货等。个性化推举业务需求比较强烈,基于bet36备用网址和个性化推举算法,实现向不同用户展示不同内容的效果。

为此,团队于2015年底再次升级推举系统。2016年618期间,个性化推举大放异彩,特别是团队开创的“智能卖场”,实现了运动会场的个性化分发,不仅带来GMV的显著提升,也大幅降低了人工成本,大大提高了流量效率和用户体验,从而到达商家和用户双赢,此产品获得了2016年度的集团优秀产品。为了更好地支撑多种个性化场景推举业务,推举系统一直在迭代优化升级,未来将朝着“满屏皆智能推举”的方向开展。

推举产品

用户从发生购买意向,到经历购买决策,直至最后下单的整个进程,在任何一个购物链路上的节点,推举产品都能在肯定程度上帮助用户决策。

推举产品开展进程

推举产品开展历程主要经历了几个阶段(图1),由简单的关联推举进程到个性化推举,逐步过渡到场景智能推举。从相关、相似的产品推举过渡到多特征、多维度、用户实时行为、结合用户场景进行的全方位智能推举。

bet36备用网址
图1 推举产品开展历程

多屏多类型产品形态

多类型主要指推举类型覆盖到多种类型,如商品、运动、分类、优惠券、楼层、入口图、文章、清单、好货等。在移动互联时代,多屏场景非常普遍,整合用户在多屏的信息,能使个性化推举更精准。多屏整合的背后技术是通过前端埋点,用户行为触发埋点事情,通过点击流系统进行多屏的行为信息收集。这些行为数据通过实时流计算平台来计算用户的兴趣偏好,从而依据用户兴趣偏好对推举结果进行重排序,到达个性化推举的效果。京东多屏终端如图2所示。

bet36备用网址
 

图2 京东多屏终端

推举系统架构

整体业务架构

推举系统的目的是通过全方位的精准数据刻画用户的购买意图,推举用户有购买意愿的商品,给用户最好的体验,提升下单转化率,增强用户黏性。推举系统的业务架构如图3所示。

bet36备用网址
 

图3 推举系统的业务架构

  • 系统架构。对外提供统一的HTTP推举服务,服务京东一切终端的推举业务。
  • 模型服务。为了提高个性化的效果而开拓的一系列公共的个性化服务,用户维度有用户行为服务和用户画像服务,商品维度有商品画像,地域维度有小区画像,特征维度有特制服务。通过这些基础服务,让个性化推举更简单、更精准。
  • 机器学习。算法模型训练阶段,尝试多种机器学习模型,结合离线测评和在线A/B,验证不同场景下的算法模型的效果,提高推举的转化率。
  • 数据平台。数据是推举的源泉,包括数据收集和数据计算。数据虽然是整体推举架构的最底层,却是非常重要的,因为数据直接联系到推举的健康开展和效果提升。

个性化推举架构

在起步初期,推举产品比较简单,每个推举产品都是独立服务实现。新版推举系统是一个系统性工程,其依赖数据、架构、算法、人机交互等环节的有机结合。新版推举系统的目的,是通过个性化数据挖掘、机器学习等技术,将“千人一面”变为“千人千面”,提高用户忠实度和用户体验,提高用户购物决策的质量和效率;提高网站交叉销售能力,缩短用户购物路径,提高流量转化率(CVR)。当前新版推举系统撑腰多类型个性化推举,包括商品、店铺、品牌、运动、优惠券、楼层等。新版个性化推举系统架构如图4所示。

bet36备用网址
 

图4 新版个性化推举系统架构
个性化推举系统架构图中不同的颜色代替不同的业务处置场景:数据处置部分(最底层绿色模块),包括离线数据预处置、机器学习模型训练,以及在线实时行为的接入、实时特征计算。推举平台(蓝色模块),主要体现响应用户要求时推举系统的各服务模块之间的交互联系。推举系统核心模块:

  • 推举网关。推举服务的入口,负责推举要求的合法性检讨、要求分发、在线Debug以及组装要求响应的结果。
  • 调度引擎。负责推举服务按策略调度及流量分发,主要依据配置中心的推举产品的实验配置策略进行分流,撑腰按用户分流、随机分流和按关键参数分流。撑腰自定义埋 点,收集实时数据;撑腰应急预案功能,处置紧迫情况,秒级生效。
  • 推举引擎。负责推举在线算法逻辑实现,主要包括召回、过滤、特征计算、排序、 多样化等处置进程。
  • 个性化基础服务。当前主要个性化基础服务有用户画像、商品画像、用户行为、 预测服务。用户画像包括用户的长期兴趣、短期兴趣、实时兴趣。兴趣主要有性别、品牌 偏好、品类偏好、购买力等级、自营偏好、尺码颜色偏好、促销敏感度、家庭情况等。商品画像主要包括商品的产品词、修饰词、品牌词、质量分、价钱等级、性别、年龄、标签等。用户行为主要猎取用户近期行为,包括用户的搜索、点击、关切、加入购车、下单等。预测服务主要是基于用户的历史行为,使用机器学习训练模型,用于调整召回候选集的权重。
  • 特制服务平台。负责为个性服务提供特征数据和特征计算,特制服务平台主要针对 特征数据,进行有效的声明、治理,进而到达特征资源的共享,快速撑腰针对不同的特征进行有效的声明、上线、测验以及A/B实验效果对角。

个性化技术(橙色模块),个性化主要通过特征和算法训练模型来进行重排序,到达精准推举的目的。特制服务平台主要用于提供大批多维度的特征信息,推举场景回放技术是指通过用户实时场景特征信息反馈到推举排序,在线学习(Online-Learning)和深度学习都是大规模特征计算的个性化服务。

个性化推举系统的主要优势体现为撑腰多类型推举和多屏产品形态,撑腰算法模型A/B实验快速迭代,撑腰系统架构与算法解耦,撑腰存储资源与推举引擎计算的解耦,撑腰预测召回与推举引擎计算的解耦,撑腰自定义埋点功能;推举特征数据服务平台化,撑腰推举场景回放。

数据平台

京东拥有庞大的用户量和全品类的商品以及多种促销运动,能够依据用户在京东平台上的行为记载积存数据,如扫瞄、加购物车、关切、搜索、购买、评论等行为数据,以及商品本身的品牌、品类、描述、价钱等属性数据的积存,运动、素材等资源的数据积存。这些数据是大规模机器学习的基础,也是更精确地进行个性化推举的前提。

数据收集

用户行为数据收集流程一般是用户在京东平台(京东App、京东PC网站、微信手Q)上相关操作,都会触发埋点要求点击流系统(专门用于收集行为数据的平台系统)。点击流系统接到要求后,进行实时消息发送(用于实时计算业务消费)和落本地日志(用于离线模型计算),定时主动抽取行为日志到bet36备用网址平台中心。算法人员在数据集市上通过机器学习训练模型,这些算法模型应用于推举服务,推举服务辅助用户决策,进一步影响用户的购物行为,购物行为数据再发送到点击流,从而到达数据收集闭环。

离线计算

当前离线计算平台涉及的计算内容主要有离线模型、离线特征、用户画像、商品画像、用户行为,离线计算主要在Hadoop上运行MapReduce,也有部分在Spark平台上计算,计算的结果通过公共导数工具导入存储库。团队考虑到业务种类繁多、类型复杂以及存储类型多样,开拓了插件化导数工具,降低离线数据开拓及维护的成本。数据离线计算架构如图5所示。

bet36备用网址
 

图5 数据离线计算架构

在线计算

当前在线计算的范围主要有用户实时行为、用户实时画像、用户实时反馈、实时交互特征计算等。在线计算是依据业务需求,快速捕捉用户的兴趣和场景特征,从而实时反馈 到用户的推举结果及排序,给用户专属的个性化体验。在线计算的实现消息主要来源于Kafka集群的消息订阅和JMQ消息订阅,通过Storm集群或Spark集群实时消费,推送到Redis集群和HBase集群存储。数据在线计算框架如图6所示。

bet36备用网址
 

图6 数据在线计算架构

关键技术

推举系统涉及的技术点比较多,考虑到篇幅有限,这里重点介绍个性化推举中比较重要的部分。

推举引擎

个性化推举系统的核心是推举引擎,推举引擎的一般处置进程是召回候选集,进行规则过滤,使用算法模型打分,模型融合排序,推举结果多样化展示。主要使用的技术是机器学习模型,结合知识图谱,挖掘商品间的联系,按用户场景,通过高维特征计算和海量召回,大规模排序模型,进行个性化推举,提升排序效果,给用户极致的购物体验。

推举引擎处置逻辑主要包括分配任务,执行推举器,合并召回结果。推举器负责召回候选集、业务规则过滤、特征计算、排序等处置。推举引擎技术架构如图7所示。

bet36备用网址
 

图7 推举引擎技术架构
分配。依据推举场景,按召回源进行任务拆分,关键是让分布式任务到达负载均衡。

推举器。推举引擎的核心执行组件,猎取个性化推举结果,推举器的实现如图8所示。

bet36备用网址
 

图8 推举器架构

  • 召回阶段。猎取候选集,一般从基于用户画像、用户偏好、地域等维度进行召回,如果是新用户的召回资源不够,会使用冷启动服务进行召回。
  • 规则过滤阶段。对人工规则、一品多商、子母码、邮差差价等进行过滤。
  • 特征计算阶段。结合用户实时行为、用户画像、知识图谱、特制服务,计算出召回的候选集的特征向量。
  • 排序阶段。使用算法模型对召回候选集打分,依据召回源和候选集的分值,按肯定的策略对候选集进行重新排序。

合并。归并多个推举器返回的推举结果,按业务规则进行合并,考虑肯定的多样性。举例来说,京东Appbet36备用网址“猜你喜欢”的实现进程如图9所示。首先依据用户画像信息和用户的近期行为及相关反馈信息,选择不同的召回方式,进行业务规则过滤;对满足要求的候选商品集,提取用户特征、商品特征、用户和商品的交叉特征;使用算法模型依据这些特征计算候选商品的得分;依据每个商品的得分对商品进行排序,同时会丰盛推举理由,考虑用户体验,会对最终排好序推举结果进行微调整,如多样性展示。

bet36备用网址
 

图9 猜你喜欢实现进程图

用户画像

京东bet36备用网址有别于其余厂商的地方就是京东拥有最长的价值链和全流程的数据积存。京东数据的特征非常全面,数据链记载着每个用户的每一步操作:从登录到搜索、扫瞄、选择商品、页面停留时间、评论阅读、是否关切促销,以及加入购物车、下订单、付款、配送方式,最终是否有售后和返修,整个用户的购物行为完整数据都被记载下来。通过对这些用户行为及相关场景的分析,构建了京东用户画像,如图10所示。

其中不仅有用户的年龄、性别、购物习惯,更有依据其购物行为分析出的大批数据,例如是否已婚,是否有孩子,对促销是否敏感等。另外,实时用户画像能够秒级分析出用户的购买意图,以及实时兴趣偏好。京东推举用户画像技术体系如图11所示。

用户画像在京东各终端的推举产品中都有应用,618推出的智能卖场是用户画像的典范应用场景。智能卖场的产品包括发现好货、个性化楼层、秒杀、运动、优惠券、分类、标签等。以秒杀为例,推举结果会依据当前用户的用户画像中的画像模型(性别、年龄、促销敏感度、品类偏好、购买力)进行加权,让用户最感兴趣的商品排在前面。

用户画像也是场景推举的核心基础。以东家小院为例,依据用户的历史行为汇聚出很多场景标签,按当前用户的画像模型,调整场景标签的排序。如用户选择“包治百病”标签,会按用户画像中的性别、年龄、品类、促销敏感度等画像模型进行推举商品的重排序。

bet36备用网址
 

图10 用户画像示意图
bet36备用网址
 

图11 京东推举用户画像技术体系

特制服务平台

特征就是一种属性的描述,特征是个性化推举的基础,常用的特征分为单边特征和双边特征。单边特征是指对象本身的属性描述,如商品的颜色;双边特征是指两个对象交互程度的描述,如某用户最近一小时扫瞄的品牌与候选集中品牌的匹配程度。从特征生成的场景来说,分为离线特征和实时特征。离线特征是通过算法模型提前生成,实时特征是通过实时计算的方式生成的。特征的质量直接影响推举的效果、特征计算的性能,同时影响个性化推举的处置能力。另外,共享和复用特征能够提高算法的迭代速度并节约人力成本。

特制服务治理平台主要针对特征数据和特征计算,进行有效声明和治理,进而到达特征资源的共享和复用。特制服务平台能快速满足针对制定不同的特征进行有效的声明、上线、测验以及A/B实验效果对角的需求,做到特征的可维护、可说明、可验证。特制服务平台的主要功能如下:离线特征的定制化使用,在线特征的定制化使用,由定制化特征发生新的特征,部分特征、模型在线申明,不同特征效果快速A/B。特制服务平台架构如图12所示。

bet36备用网址
 

图12 特制服务平台架构

场景特征回放技术

推举的一般处置逻辑是每次要求会召回一批商品,然后依据用户的行为数据和用户模型计算出每个商品的特征。算法模型会依据每个商品的特征计算出每个商品的得分,最后选出得分最高的几个商品推举给用户。

线上计算特征这种行为是一次性的,不会被记载下来。因此在线下训练模型的时刻,如果想使用上述的特征,就需要在线下机器上再次计算一遍这些特征。遗憾的是,线下计算出来的特征往往不能和线上特征完全相同,这就导致了模型训练的效果较差。场景特征回放示意图如图13所示,推举业务调用推举引擎,推举引擎将场景特征通过特征回放服务记载下来,推送至bet36备用网址平台,机器学习依据场景特征数据重新训练算法模型,进而影响推举引擎中的排序,形成一个场景闭环推举,到达更精确的个性化推举。

bet36备用网址
 

图13 场景特征回放示意图
场景特征回放技术架构如图14所示,场景特征回放技术实现进程如下。线上特征一般是一系列的数值,我们将这些特征按照肯定的规则组装成一个字符串,然后将特征使用HTTP的POST方法异步发送到服务端。

bet36备用网址
 

图14 场景特征回放技术架构
服务端使用Openresty接收这些HTTP要求,并把HTTP要求中的特征数据落地到本地磁盘文件中。Openresty是一种高性能的Web服务器,能够承受很高的QPS,并且具有很高的稳定性,它的这两点特性保证了服务的稳定。

数据抽取系统把服务器集群磁盘上的数据抽取到临时仓库。

数据抽取系统对数据进行压缩和过滤处置,然后推送到Hive表中。不同类型的要求会放到不同的分区中,更加方便算法工程师使用这些数据。

个性化推举系统是一个系统工程,依赖产品、数据、架构、算法、人机交互等进行场景推举,本节重点从这几个维度阐述了京东的个性化推举系统。推举系统随着业务开展和飞禽走兽老虎机试玩生活方式的改变而进行不断升级,经历了从PC时代到移动互联时代,从关联推举走向个性化推举,从纯商品推举到多类型推举的改变。个性化推举系统已经实现了千人千面。诚然,个性化的效果也有待提升,有些体验类的问题也在逐步完善。当前正在进行或有待提高的方面包括:算法方面丰盛知识图谱、深度学习广泛应用;推举系统方面会更好地撑腰海量召回、高维特征计算、在线学习,推举更实时,更精准;产品方面已向“满屏皆智能推举”方向迈进。最后,希望个性化推举系统能让购物变得简单,变得更人性化、更丰盛、更美妙。

End.

转载请注明来自36bet36备用网址(36dsj.com):36bet36备用网址 » 深度解析京东个性化推举系统演进史

36bet36备用网址   除非特别注明,本站一切文章均不代替本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思索的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
条评论
Sitemap