基于Gravity共享计算平台的商品分类机器学习实践

Gravity 机器学习利用容器技术将算法和模型分离通过容器编排技术实现业务逻辑。如下是机器学习的 4 个过程：

Gravity 通过对多个特征模型运用不同的分类器组合来训练数据，不同的算法组合通过 Gravity 容器编排技术组合成一个工作流进行调度，如下图是一个工作流示意图：

商品类目的预测，归根结底是一个分类问题，一个有监控的机器学习问题。每个标准类目可以看成是一个分类，程序需要自动把商品划分到各个分类中。火眼云类目预测需要面对几个问题：

1. 类 目 数 量 多

火眼云数据类目覆盖广，类目数量多则极大增加了分类空间，提高了分类复杂度，同时不同类目的类目层次不同，由一级目录到四级目录，层次越深需要分类的计算量越大。

2. 分 类 空 间 不 同

不同类目的叶子类目个数不同，叶子类目越多则叶子类目之间区分度越小，分类难度越大，在机器学习模型训练过程中不同类目对计算需求不同，算力需求随着子类目数量动态变化。

3. 商 品 描 述 多 样

火眼云数据规格不一，商品标题描述复杂不一，部分数据不具有明显的类目特征，部分数据包含多种产品词或类目词，同时还有中文英文标题，需要根据不同的特征采用不同的分类算法，模型训练需要根据特征筛选来编排选择模型容器。

Gravity 通过边缘节点的容器调度能力，实现零停机、负载均衡和高效扩容。通过 Gravity 的资源调度算法自动为分布式模型训练分配容器资源以满足不同类目深度的算力需求；另一方面通过业务的编排组织对模型训练过程进行定制，实现不同特征的自适应算法。

Gravity 通过对容器工作流的编排能够实现数据训练的深度迭代，未来随着数据的不断积累和模型训练的增量迭代，预测准确率会越来越高。

—-

编译者/作者：不详

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。