?

在京東零售技術團隊中，有很多年輕的算法工程師，他們大多是95后，在加入京東的短短幾年內(nèi)，用實力“啃”下了一個個硬骨頭。

從大模型訓練的效率優(yōu)化、生成效果的極致調優(yōu)，到算法落地的工程難題、業(yè)務場景的創(chuàng)新應用，他們用行動證明——做難而正確的事，才是技術人最快的成長路徑。

每個技術突破的背后，是數(shù)百次實驗的堅持，是推翻重來的勇氣，更是對技術極致的追求。

一起看看這群技術年輕人解決技術難題的故事。

技術難題：

判斷廣告圖片合不合格就像評價"這幅畫美不美"，涉及大量主觀標準，人類一眼能看出的商品變形、錯位等問題，AI評委經(jīng)常"看不懂"。

現(xiàn)有的獎勵模型給出的決策常常無法精準指導AI調整，如何讓AI像人類一樣精準理解圖片中復雜的審美和商業(yè)要求，并給出具體改進方向的評判指引？

?

我的解題思路：

拿到這道題時，我在思考：是否可以用多個獎勵小模型的組合來替代單一獎勵大模型呢？讓每個小模型專注評判圖片的某一類問題，如商品形狀、擺放位置、色彩搭配等，降低單一模型的學習難度，同時提升評判的精細度；另一方面多獎勵模型意味著更靈活的業(yè)務規(guī)則嵌入和更豐富的模型組合方式，提高了獎勵信號質量的上限。

我和團隊一起完成了一套基于人類反饋的可信賴廣告圖像生成的訓練和推理框架，這個框架的運作流程可以分為訓練階段和推理階段。訓練階段，生成模型根據(jù)商品透底圖產(chǎn)出廣告圖后，由多個專注細分任務的小獎勵模型生成多維質量信號，通過強化學習微調生成模型，使其逐步修正問題；在推理階段，生成模型輸出的廣告圖經(jīng)同一組獎勵模型聯(lián)合決策，自動判斷生成的廣告圖能否直接上線，無需人工審核。

基于這套框架，生成圖片可用率98%的情況下，召回率提升了近30%，可以高效、批量化制作商品的AIGC廣告圖片。

我的成長筆記：

成長的最佳途徑在于不斷反思和復盤。在每次項目結束后，我都會總結成功的經(jīng)驗和需要改進的地方，將這些經(jīng)驗和教訓形成可復用的方法論，不僅幫助自己成長，也能幫助團隊中的其他成員提高工作效率。

入職前我的研究方向并非圖像生成，而是圖像分割、目標檢測等任務。雖然應用的算法有差異，但是同為深度學習相關任務，提升模型性能時的優(yōu)化思路、訓練技巧乃至模塊實現(xiàn)方式都有很多共通之處，其技術迭代的方向和角度，也往往能帶給我很多啟發(fā)，跨領域的知識遷移，往往能碰撞出意想不到的創(chuàng)新火花。

技術難題：

query擴展是一種有助于縮小用戶搜索詞與商品描述之間差距的好方法。

想象一下，你在京東APP搜索"養(yǎng)生神器"，理想情況下希望出現(xiàn)保溫杯、頸椎按摩儀等商品，但傳統(tǒng)的神經(jīng)網(wǎng)絡機器翻譯模型在遇到新穎的用戶搜索意圖時，可能無法生成有效的擴展query，無法召回很多相關商品。

如何突破傳統(tǒng)query擴展的局限性，讓AI學會舉一反三，讓搜索引擎召回更多相關且優(yōu)質的商品？

?

我的解題思路：

大模型的盛行啟發(fā)了我和團隊，query擴展本身就可以是一個生成任務，而大模型的大參數(shù)量又可以提升泛化性，正好可以解決我們所遇到的問題。同時，InstructGPT論文中提出的利用PPO提升LLM效果的思路，不僅能夠克服傳統(tǒng)“死記硬背”訓練數(shù)據(jù)的問題，還能讓模型在實際應用中更加靈活和智能，就這樣，我們堅定了大模型+強化學習的技術路線。

基于這一思路，我和團隊研究了一種基于大語言模型的query擴展框架，該框架分為三個訓練階段：電商領域的預訓練、任務驅動的微調和基于搜索引擎的強化學習。

首先，我們利用消費者行為數(shù)據(jù)和京東商品數(shù)據(jù)對LLM進行預訓練，這一階段為大模型裝備了一個強大的“知識庫”，讓它具備深入理解電商領域知識和用戶購物行為的能力。接下來，基于搜索日志篩選出高質量的query擴展數(shù)據(jù)，對模型進行了任務驅動的微調，在大模型已經(jīng)具備電商知識的基礎上，打磨模型在query擴展特定任務上的效果，讓模型能更準確理解用戶的搜索意圖。最后，利用強化學習進一步優(yōu)化模型的目標對齊，通過模擬離線搜索引擎，設計了多粒度的獎勵函數(shù)，優(yōu)化擴展query所檢索到的相關產(chǎn)品數(shù)量，在線實驗的轉化率提升也證明了我們方案的有效性。

我的成長筆記：

面對技術難題時，我認為最有效的方法是通過分析具體案例Case來準確定位問題所在，并通過實驗來驗證不同的解決方案。這種方法不僅能夠幫助我們深入理解問題的本質，還能確保選擇的解決方案是最優(yōu)的。

另外，我還會定期看頂會paper、跟蹤開源社區(qū)動態(tài)進行技術積累，在面對問題時能更快定位問題，高效提出解法。

技術難題：

優(yōu)化京東商家智能助手的過程就像教一個實習生處理問題，傳統(tǒng)方法（監(jiān)督學習）就像讓資深客服手把手教他每句話該怎么回。雖然能保證基本合格，但這個實習生永遠無法超越師傅的水平，遇到新問題就束手無策。

如何通過有效的指導和激勵，幫助這位“實習生”不斷提升技能，在“教練”的指導下，突破人類經(jīng)驗的限制，實現(xiàn)自我進化？

?

我的解題思路：

在大模型訓練過程中，如果僅基于傳統(tǒng)監(jiān)督微調手段，模型效果會以人類標簽為上限，而我們的目標是助力模型從人類指導轉向AI自我引導、進一步優(yōu)化模型效果。于是我轉向強化學習，對比了兩種方案：

1、類似DPO的隱式獎勵方案，像是給學生樹立正面榜樣和反面典型，讓他自行學習優(yōu)點、規(guī)避錯誤。

2、類似RLHF的顯式獎勵方案，像是先通過一系列答案和對應分數(shù)告訴教練如何打分，再由教練實時訓練。這個方法效果更穩(wěn)定，但訓練資源消耗更大、同時十分依賴“教練”的質量。

如何培養(yǎng)這個高質量教練呢？我設計了一套Agent全鏈路評估技術，針對不同類型問題給出不同評分標準，保障局部與端到端兩類視角的評估。對明確答案的問題直接判對錯，并檢查對應的思考過程；對開放性問題則用AI來評分。評估時區(qū)分模型生成質量與環(huán)境反饋結果，例如：當Agent正確調用API卻因外部故障失敗時，系統(tǒng)會給出高思維分+低環(huán)境分。通過區(qū)分"AI想對了但執(zhí)行出錯"和"AI本身就想錯了"的情況，精準定位問題來源，為后續(xù)優(yōu)化指明方向。

現(xiàn)在，京東商家助手就像有個"AI教練團"，邊服務邊進化。用算法解決算法的問題，正是技術最迷人的地方。

我的成長筆記：

技術突破往往需要跳出常規(guī)思維，即使是“看似不可能”的任務也都是從實際應用場景中提煉出來的，一定存在合理性與可實現(xiàn)的底層邏輯。

在解決技術問題時，我首先會進行問題的框架梳理與模塊拆解，明確頂層設計，然后逐步細化到具體的實施要點。首先確認要達成的目標，識別核心難點，分析技術要點是否已掌握或需要學習，此外還要尋找業(yè)界案例或替代方案，以及評估團隊協(xié)作需求等。通過將問題具體化，找到解決方案，即使遇到無法完成的任務，也能提供清晰的調研結論。

技術難題：

文生圖大模型能夠根據(jù)文本生成高質量圖像的能力而備受青睞。然而這些模型往往有巨大的參數(shù)量，在電商場景下會占用大量算力資源且推理速度較慢。

如何精準識別并裁剪模型中的冗余部分，同時確保模型性能不受影響呢？這一過程就像“修剪花園”，識別珍貴的花卉與徒耗養(yǎng)分的雜草，讓花園重煥生機。

?

我的解題思路：

在模型優(yōu)化過程中，我發(fā)現(xiàn)通過FFT（快速傅里葉變換）技術進行頻域分析，就像使用了顯微鏡來觀察，更直接地捕獲模型冗余和有效特征的差異。具體來說，低頻和高頻的圖片特征在頻域上的輸出會有明顯的變化，這意味著可以利用FFT技術來定位模型中的冗余部分。

然而，僅僅依靠頻域分析還存在一個難題：很難確定一個明確的閾值來有效冗余和有效特征。為此我還引入了RDP算法（迭代端點擬合算法），這就像是一種高級的探測儀器，能夠自動識別頻譜變化趨勢中的關鍵拐點。結合這兩種方法，我成功定位并移除了模型中的冗余部分。結果實驗顯示，模型訓練吞吐量提升了40%，性能效率顯著提升。

這一成果不僅證明了創(chuàng)新方法的有效性，也是我首次在工業(yè)級項目中將基礎算法理論創(chuàng)新與實際應用完美結合，通過技術探索，成功解決了復雜的工程問題，積累了寶貴的經(jīng)驗。

分享一段這個項目中重要的一段代碼：通過遞歸的方式擬合頻譜曲線，在誤差盡可能小的情況下，找到頻譜曲線中最重要的點，這些點即為transformer中的有效block。

def rdp(points, epsilon):
    """
    Ramer-Douglas-Peucker算法，用于曲線簡化。
    points: 曲線上的點序列
    epsilon: 簡化容差，越大簡化越多
    """
    def perpendicular_distance(pt, line_start, line_end):
        # 計算點pt到線段(line_start, line_end)的垂直距離
        if np.array_equal(line_start, line_end):
            return np.linalg.norm(pt - line_start)
        else:
            return np.abs(np.cross(line_end - line_start, line_start - pt)) / np.linalg.norm(line_end - line_start)

    def rdp_recursion(points, epsilon):
        # 遞歸執(zhí)行RDP算法，找出距離最遠的點
        dmax = 0.0
        index = 0
        end = len(points)
        for i in range(1, end - 1):
            d = perpendicular_distance(points[i], points[0], points[-1])
            if d > dmax:
                index = i
                dmax = d
        # 若最遠距離大于容差epsilon，繼續(xù)分割曲線
        if dmax > epsilon:
            results1 = rdp_recursion(points[:index+1], epsilon)
            results2 = rdp_recursion(points[index:], epsilon)
            return results1[:-1] + results2
        else:
            # 距離小于容差，直接簡化成端點
            return [points[0], points[-1]]

    return rdp_recursion(points, epsilon)

我的成長筆記：

AIGC與大模型的快速演進，技術更新速度加快，對算法工程師提出從單純研發(fā)走向落地應用與創(chuàng)新融合的更高要求。

面對快速變化的時代和復雜的業(yè)務，我會主動追蹤前沿進展，跟進頂會、開源社區(qū)的動態(tài)，保持對領域趨勢的敏銳性，同時提升的跨領域技能與知識，深入理解用戶需求與市場趨勢，結合算法能力提供真正有商業(yè)價值的方案，掌握良好的代碼工程實踐、持續(xù)集成和自動化部署，提高算法從實驗到生產(chǎn)的效率。

?

技術難題：

在智能導購場景中，用戶常提出包含具體場景參數(shù)的需求，如"我家的桌子長130cm，寬60cm，推薦一個大小合適的置物架"。

如何讓大模型準確理解用戶需求，并將其精準映射到商品庫的結構化參數(shù)？

?

我的解題思路：

這一技術難點在于語義復雜性和商品描述與用戶需求的精準匹配，一方面需要理解用戶語言中的隱含條件，比如“大小合適"需轉換為"長度≤130cm且寬度≤60cm”，另一方面要準確匹配商品庫的結構化參數(shù)，如貨架尺寸、承重等，這需要突破語義理解、多意圖混雜等難題。

過程中，我進行了模型訓練，使用通用強化學習方法提升語義理解能力，通過數(shù)據(jù)閉環(huán)持續(xù)優(yōu)化用戶意圖識別。并篩選高質量數(shù)據(jù)訓練模型，確保處理新需求時仍保持高準確率。此外，我還將京言的多個模型整合成一個統(tǒng)一的系統(tǒng)，每個功能對應一個獨立的代理。通過讓單個智能體處理多種任務，在需要時進行人工干預，進一步提升大模型的效果，確保系統(tǒng)既高效又靈活，能夠更好地服務于用戶。

通過大模型語義推理，多輪對話引導用戶完善需求，將技術參數(shù)轉化為用戶語言，結合電商知識，動態(tài)生成易懂的解釋。京言上線以來，活躍用戶平均對話次數(shù)增加，購買轉化率持續(xù)攀升，實現(xiàn)了"越用越懂你"的智能導購體驗。

這是我在進行多任務訓練的時候，通過探針觀察模型訓練狀態(tài)：

def get_token_prob(prompt, target_token):
    # 編碼輸入并定位預測位置
    inputs = tokenizer(prompt, return_tensors="pt")
    input_ids = inputs.input_ids
    target_len = len(tokenizer.encode(target_token, add_special_tokens=False))
    
    # 獲取模型輸出logits
    with torch.no_grad():
        outputs = model(**inputs)
    next_token_logits = outputs.logits[:, -1, :]  # 取最后一個位置的預測
    
    # 轉換概率分布
    probs = F.softmax(next_token_logits, dim=-1)
    
    # 獲取目標token的id（處理多token情況）
    target_ids = tokenizer.encode(target_token, add_special_tokens=False)

    # 返回改token的概率
    return probs[0, target_ids[0]].item()

我的成長筆記：

在模型訓練過程中，數(shù)據(jù)清洗和過濾是關鍵，但過程往往充滿挑戰(zhàn)。有時候，花整整一周時間合成數(shù)據(jù)、清洗數(shù)據(jù)、再到數(shù)據(jù)配比，最終訓練出的模型卻表現(xiàn)不佳，難免讓人沮喪。但我始終相信，每一次失敗都有價值。歷史數(shù)據(jù)不僅能幫助分析問題，還能用于構建更優(yōu)質的訓練樣本，支撐下一次嘗試。當方向不對時，就果斷調整策略，帶著經(jīng)驗重新出發(fā)。

這就是技術人的成長——在不斷試錯中積累經(jīng)驗，在失敗中尋找突破，最終一步步實現(xiàn)更好的結果。

審核編輯 黃宇