引言
大模型对搜推技术产生了深远的影响，极大地推动了搜推技术的演进趋势，使得搜推更加的智能化和个性化，然而在搜推中引入大模型时同样面临一系列的挑战，例如商品知识的幻觉，复杂查询的理解，个性化商品推荐，隐私和安全等问题。本文基于这个问题背景介绍下我们的技术实践，完整文章分为上下两篇介绍：
•上篇：电商场景的深刻理解和洞察，从实际问题分析出发结合我们在大模型上的相关创新性实践来解决这些痛点问题，阐述我们在电商大模型的技术探索，覆盖电商大模型能力建设，包括知识增强预训练、指令对齐、安全性等方向。 上篇链接： http://sd.jd.com/article/36289?shareId=305781&isHideShareButton=1
•下篇：针对电商搜推场景问题介绍大模型在搜索相关方向的应用实践，最后讨论下一代 AI 电商搜索的相关技术和趋势见解。
本文为下篇。
1.电商搜索场景下大模型应用实践
在电商搜索场景中，应用大模型能够显著提升用户体验和搜索效率。以下将详细介绍大模型在电商搜索中的实践应用。
1.1 搜索交互
在电商平台上，搜索交互是用户找到满意商品的关键环节。通过大模型的应用，我们可以实现更智能的query引导，帮助用户更快地找到所需商品，同时降低交互成本，提升搜索效率。
大模型在以下几个方面发挥了重要作用：
•Query引导：通过智能引导，帮助用户优化搜索词，提高搜索结果的相关性和满意度。
•交互成本降低：减少用户在搜索过程中的操作步骤，提高搜索效率。
•转化率提升：通过精准的搜索结果引流，提升用户的购买转化率。
难点和挑战
尽管大模型在搜索交互中具有显著优势，但也面临一些难点和挑战：
•传统方法局限：传统的搜索方法主要依赖于召回和排序，利用SMT（统计机器翻译）和NMT（神经机器翻译）技术，优化链路较长且噪音大。
•语言理解挑战：处理歧义、多义词和个性化需求是搜索交互中的主要难点，传统方法难以全面解决这些问题。
•准确性和泛化效果：在保证搜索结果准确性的同时，提升模型的泛化效果仍然是一个难题。
这里以以纠错/Sug等为例说明基于大模型的通用方案：
应用核心在于：
•电商知识增强：将电商领域的专业知识融入大模型中，使其能够更准确地理解和处理用户的搜索需求。
•业务任务对齐：结合具体的业务任务，对大模型进行优化，使其在搜索交互中表现更佳。
•搜索交互日志利用：利用历史搜索交互日志，优化模型的对齐目标，提升搜索效果。
•Multi-Instruction Learning：通过多指令学习，增强模型应对多样化搜索需求的能力。
1.2 电商用户意图理解
在电商平台中，意图理解是提升用户体验和转化率的关键环节。通过解决用户需求表达与商品语义对齐的问题，我们能够提高商品召回的相关性和多样性，最终提升用户转化率（UCVR）。本节将探讨电商意图理解的目标、方向以及面临的问题和挑战，并介绍基于电商大模型的核心技术解决方案。
电商意图理解的主要目标是：
•解决用户需求表达与商品语义对齐问题：确保用户输入的搜索query能够准确匹配到相关商品。
•提升商品召回的相关性和多样性：提供高相关搜索结果的同时保证结果的多样性，满足不同用户的需求。
•提升用户转化率（UCVR）：通过优化搜索体验和结果，提高用户的购买转化率。
意图理解的方向
为了实现上述目标，意图理解需要在以下几个方向上进行优化：
•Query理解：
◦分词：将用户输入的搜索词进行合理的分词处理，提升理解精度。
◦实体识别：识别搜索query中的关键实体，如品牌、型号等。
◦类目预测：预测用户搜索的商品类别，提升召回精度。
◦品牌识别：识别并理解用户搜索中的品牌信息。
◦改写：对用户输入的query进行智能改写，优化搜索结果。
◦需求识别：理解用户的具体需求，如购买意图、用途等。
•商品理解：
◦商品SKU理解：深入理解商品的SKU信息，提升匹配度。
◦商品图像理解：通过多模态大模型图像识别技术，理解商品图片内容。
◦SKU-to-Query：实现商品SKU信息与用户搜索query的精准匹配。
问题和挑战
在意图理解的过程中，面临以下主要问题和挑战：
Query理解：
•传统方法局限：传统方法主要依赖于规则和基于BERT的二分类或多分类、序列标注算法，优化成本高且难以处理长尾问题。
•长尾问题：用户输入的多样化和个性化需求难以全面覆盖。
商品理解：
•泛化能力差：商品理解的泛化能力较弱，难以适应多变的商品信息。
•图像理解准确率低：基于OCR的商品图像理解准确率不高，影响搜索结果的精度。
基于电商大模型的意图理解核心技术
为了应对上述问题和挑战，基于电商大模型的意图理解技术应运而生：
我们的大模型应用方案是一个多层体系架构，包括：底层平台层NPU平台和GPU平台，NPU是一华为昇腾910B为主的第二算力平台，GPU以A100/H800为主；模型底座包括文本大模型和多模态大模型；基于大模型底座我们做了模型扩展和电商知识增强预训练，再通过多任务增强对齐学习构建了我们的电商大模型，最上层是应用层，包括prompt工程，进一步结合具体业务场景的对齐以及蒸馏萃取技术，在时效性个性化方便核心是通过RAG技术实现的，包括电商知识图谱RAG，Web搜索RAG，以及用户画像RAG
其核心技术包括：
•Instruction Learning：通过指令对齐学习，提升模型对多样化需求的理解和处理能力。
•搜索用户反馈用于强化学习：利用用户搜索行为和反馈数据，对模型进行强化学习，持续优化搜索效果。
•RAG（Retrieval-Augmented Generation）：
◦知识图谱-RAG：结合知识图谱，增强模型对商品信息的理解和匹配能力。
◦用户画像-RAG：利用用户画像，提升个性化推荐和搜索结果的精准度。
◦Web搜索RAG：基于公网搜索信息，解决时效性相关知识问题。
1.3 文案创意生成
在电商平台中，文案创意是吸引用户关注、提升商品曝光率和转化率的关键因素。然而，传统的文案生成过程往往需要大量的人力和时间成本。随着人工智能技术的进步，利用大模型的生成能力，可以有效降低商品素材的生成成本，提升营销转化效率。本节将探讨电商文案创意生成的具体应用场景和关键技术。
文案创意生成的应用场景
•商品标题生成：
◦SKU描述 -> 标题：通过分析SKU描述信息，自动生成简洁明了、富有吸引力的商品标题。
◦SKU描述 + SKU图像 -> 标题：结合SKU描述和商品图像，生成更加精准和视觉化的商品标题。
•商品文案生成：
◦SKU描述 + 场景 -> 营销文案：基于SKU描述和特定使用场景，生成富有创意和吸引力的营销文案，帮助商品更好地触达目标用户。
◦SKU描述 + SKU图像 -> 图文文案：结合SKU描述和商品图像，生成图文并茂的商品文案，提升用户的阅读体验和购买欲望。
•卖点生成：
◦SKU商详 -> 卖点：从商品详情中提取核心卖点，帮助用户快速了解商品的主要优势。
◦SKU商详 + 卖点 -> 卖点文案：结合商品详情和提炼的卖点，生成详细的卖点文案，进一步增强商品的吸引力。
关键技术
为了实现高效且高质量的文案创意生成，以下关键技术至关重要：
•图文语义对齐学习：通过先进的图文语义对齐技术，确保商品图像与文字描述之间的高度一致性，提升生成文案的准确性和相关性。
•商品图文数据构建：构建高质量的商品图文数据集，作为训练多模态大模型的基础。通过大量真实商品数据的训练，使模型能够更好地理解和生成符合实际需求的文案。
1.4 电商搜索相关性
在电商平台中，搜索相关性是影响用户体验和购买转化率的关键因素。如何精准匹配用户需求与商品信息，直接关系到用户的搜索满意度和最终的购买决策。本节将探讨电商搜索相关性的核心问题、主流模型以及面临的技术挑战。
核心问题
电商搜索的核心问题在于如何实现用户需求与商品的精准匹配。这一问题最终可以归结为计算用户搜索query与商品SKU之间的相关性，即sim(query, sku)。在优化过程中，不仅要考虑搜索结果的相关性，还需要兼顾点击率（CRT）和转化率（CVR）等关键指标，以实现整体效益的最大化。
主流模型
目前，基于神经网络（NN）的语义相关性模型在电商搜索中得到了广泛应用，主要分为两大类：
•孪生网络（Siamese Network）：孪生网络通过两个或多个共享参数的子网络来处理输入的query和SKU。每个子网络独立地将输入映射到一个高维向量空间，然后计算这两个向量的相似度。这种方法的优点在于计算效率高，适用于大规模的在线搜索场景。
•交互式匹配（Interactive Matching）：交互式匹配模型在处理query和SKU时，允许输入之间进行复杂的交互操作。这种模型能够捕捉到更丰富的语义关系，从而提升匹配的精度。尽管计算复杂度较高，但在高精度需求的场景中表现出色。
问题与挑战
尽管当前的模型在提升搜索相关性方面取得了显著进展，但仍面临一些重要的技术挑战：
•长尾泛化效果存在瓶颈：在电商平台上，用户的搜索需求具有高度的多样性和个性化，特别是长尾搜索query。这些长尾query往往缺乏足够的训练数据，导致模型在处理长尾需求时的泛化效果较差。
•超长上下文理解有限：用户的搜索query有时包含复杂的上下文信息，特别是超长query。现有模型在处理这些超长上下文时，理解能力有限，难以准确捕捉用户的真实意图，从而影响搜索结果的相关性。
基于大模型的解决方案
基于大模型的相关性提升方案逐渐成为研究热点。业界主要有两种主要的相关性提升方案：Prompt工程应用结合数据增强蒸馏，以及增强预训练结合相关性对齐。
1> 方案一：Prompt工程应用 + 数据增强蒸馏
•Prompt工程应用是一种通过设计和优化输入提示（prompts）来引导大模型生成更准确和相关的输出的方法。在电商搜索场景中，精心设计的prompts可以帮助模型更好地理解用户的搜索意图，而不需要后训练，从而提升搜索结果的相关性。
•数据增强蒸馏则是通过生成更多高质量的训练数据来提升模型的泛化能力。利用调试优化好的大模型+prompt工程来标注数据，再通过蒸馏技术将这些数据整合到模型的训练过程中。
通过结合Prompt工程和数据增强蒸馏，这一方案能够在有限的数据和算力条件下显著提升模型的搜索相关性，特别是在处理复杂和长尾query时表现尤为突出。
2> 方案二：增强预训练 + 相关性对齐
•增强预训练是指在模型预训练阶段引入更多领域相关的数据和任务，以提升模型对特定领域的理解能力。在电商搜索场景中，可以通过引入大量商品描述、用户评论和搜索日志等数据进行预训练，使模型能够更好地理解商品和用户需求之间的关系。
•相关性对齐则是在模型训练过程中，通过设计特定的损失函数和优化策略，使得模型输出的相关性评分更符合实际需求。具体来说，可以通过引入多任务学习、对比学习等方法，使模型在学习商品相关性的同时，兼顾点击率（CRT）和转化率（CVR）等关键指标，核心是需要考虑搜索系统的收益。
2.下一代AI电商搜索
在当前的电商系统中，无论是传统的货架电商还是新兴的内容电商，在整个购物消费链路中其核心驱动力依然是搜索和推荐技术。
仍然面临着诸多痛点：
•成本：用户交互成本高，需要精准的关键词表达才能容易找到所需商品，用户购买决策成本高，搜索结果通常是一个长长的SKU列表，用户需要多次点击查看商品详情，增加了决策难度和时间成本。
•效率：传统搜推技术转化链路长且低效，长尾搜索结果不相关或无结果，导致搜索效率低下，用户难以找到符合需求的商品。
•体验：交互方式受限，主要依赖于单向的query输入，会存在用户在多个平台之间跳转，增加了购物的复杂性和不便。
为了彻底解决这些痛点，理想的下一代AI电商搜索应在技术和产品形态上实现全面革新：
具体表现为以下几个方面：
•技术驱动：下一代AI电商搜索应完全由大模型或AGI技术驱动。在技术上能够更深刻地理解用户需求，并提供高度个性化的搜索和推荐服务
•数字虚拟助理：产品形态上，下一代AI电商搜索应类似于电影《Her》中出现的超级AI助手。这个数字虚拟助理能够与用户进行全模态的自然语言交互，包括无障碍的流畅语音交互，并且具备听觉、视觉和空间感知等能力。
•精准商品推荐：基于用户需求，数字虚拟助理可以直接推荐最匹配的商品，并给出精准的商品总结，解释为什么这些商品满足用户需求，性价比如何等。对于需求不明的用户，助理可以进行拟人的交互式导购，帮助用户明确需求然后推荐。
•智能代理：通过AI Agent技术，数字虚拟助理可以在用户授权下自动完成下单，包括后续的物流和售后服务。用户只需要下达简单的命令，助理即可完成整个购物流程，极大地简化了用户的操作。
下一代AI电商搜索不仅在技术上实现了从传统搜索到智能搜索的飞跃，更在用户体验上进行了全面的革新。通过大模型和AGI技术的驱动，结合数字虚拟助理的产品形态，用户将享受到更加精准、便捷和高效的购物体验，我想这应该是理想的AI电商搜索产品形态。
审核编辑 黄宇
