一 現(xiàn)狀·問題

1、培訓考核涉及的文件數(shù)量較多

當前，京東航空公司維修部門面臨著人員規(guī)模的快速增長和持續(xù)的培訓需求。根據(jù)民航局的規(guī)定，維修培訓必須確保所有維修人員都能夠完成對飛機維修相關(guān)文件的學習，這包括維修方案、維修工程管理手冊、工作程序手冊等共計12本手冊以及民航局發(fā)布的各類明傳電報、維修工程部門發(fā)布的維修提示文件MT和技術(shù)通告文件TA等內(nèi)容。這不僅適用于新招聘人員的初始培訓，復訓，而且每當手冊更新時，都需要進行差異化培訓。以上內(nèi)容的培訓都屬于知識掌握類培訓，經(jīng)過近兩年的運行，業(yè)務(wù)側(cè)發(fā)現(xiàn)無論是課堂培訓還是自學培訓，培訓效果都不太好，即員工常常無法在完成培訓后，全面掌握所需要掌握的知識或程序要求。因此維修系統(tǒng)在今年對此類培訓進行了改革，計劃通過“以考促訓”的方式提高培訓效果，即通過編制考題覆蓋所有需要掌握的知識點，要求受訓人員通過反復做題，并在做題的過程中查詢相關(guān)手冊、文件等資料，最終達到100%掌握知識點的目標。按此改革計劃，就需要培訓分部根據(jù)每次培訓材料編制海量的題庫，相對于原有題庫將呈指數(shù)倍增加，而且還需要實時根據(jù)資料的更新去更新對應(yīng)的題目和答案。

2、培訓考核涉及的文件變動頻次較高、應(yīng)用場景較為頻繁

目前，維修系統(tǒng)需考核的手冊類文件約12本，考題量需求約2400道；涉及的局方文件、維修發(fā)技術(shù)類文件約600條，且以20條/每月的速度增加，涉及的考題約3000道。

以上培訓場景每次均需對歷史文件進行評估，對考題庫進行更新修訂。

3、人工擬定題目費時費力

為提高維修人員對手冊程序的掌握程度，現(xiàn)有的培訓有效性評估手段將從“一次考試機會，70分及格”轉(zhuǎn)向“考試機會不限，但需滿分及格”，為此需不斷擴充題庫數(shù)量、優(yōu)化題庫質(zhì)量，以確保維修人員逐步熟練掌握手冊中的各項要求。根據(jù)維修系統(tǒng)的文件數(shù)量、變動頻次和應(yīng)用場景，預計在2024~2025年每周需安排24時/人次梳理更新已有題庫、增加新題庫，全年預計增加工時1248時，需增編1人以免影響其他培訓管理工作的開展。

4、無法評估現(xiàn)有題目有效性

題庫中題目的數(shù)量快速增長。但是一旦依據(jù)的手冊文件發(fā)生改版變更，原有題目是否依然正確且有效是存疑的，這需要人工投入大量時間對題庫中的題目進行評估和復核，該工作量隨著題庫規(guī)模的增大，已經(jīng)變?yōu)橐豁棊缀醪豢赡芡瓿傻娜蝿?wù)。

新擬定的試題和現(xiàn)有題庫中的試題相比，是否是重復性的試題？也無人力資源投入進行分析和判斷，從而進一步導致題庫規(guī)模的無節(jié)制增大，成為了一個死循環(huán)。

二、需求分析

將培訓管理人員從這種低效、工作量大、技術(shù)含量低的工作中釋放出來，聚焦更高價值的工作：需要根據(jù)指定的材料文件，自動生成試題，包含單選題、多選題、判斷題。生成的試題對比現(xiàn)有題庫，重復率不得高于設(shè)定值。對現(xiàn)有題庫進行定時識別分析，判斷是否存在失效風險，若和手冊文件不匹配，則生成修訂意見，提醒培訓管理人員進行復核確認。

三、采取措施

采用向量庫+大模型的方式，構(gòu)建題庫生成助手1、采用向量庫，存儲對文件材料進行向量化存儲，從而實現(xiàn)通過簡單指令快速召回相關(guān)手冊的內(nèi)容。2、使用大模型的自然語言處理能力，根據(jù)提供的手冊內(nèi)容及試題生成的要求，生成試題。

四、實踐步驟

1、工具選擇

大模型能力建設(shè)選擇采用集團推出的AutoBots平臺進行建設(shè)，該平臺通過配置化的方式進行大模型、知識庫、插件的快速搭建和集成，促進大模型場景的快速落地：

?文件向量化方便快捷：該場景要求文件更新/新增的時候，能夠及時進行向量庫更新，以便能夠生成試題使用。AutoBots平臺提供配置化的向量庫搭建能力，且打通了JoySpace，能對JoySpace中的文件快速進行解析并保存到數(shù)據(jù)庫中，同時支持圖片和表格的解析能里。在文檔發(fā)生更新時，自動更新向量庫的內(nèi)容。解決了獨立搭建時需要人工進行文件解析處理的問題，且解析和召回的準確度更高。

?知識召回準確：AutoBots平臺算法團隊，對向量化的過程進行獨立模型搭建，且算法調(diào)優(yōu)，準確度得到保障。

?流程編排能力：AutoBots平臺支持通過流程編排的方式，快速對多個大模型、知識庫、插件、文檔解析等能力進行集成構(gòu)建，支持復雜場景的實現(xiàn)。

2、整體流程設(shè)計

業(yè)務(wù)老師將文件材料上傳至joypace上，Autobots自動將文件進行解析并存儲在向量庫中。采用培訓系統(tǒng)作為功能載體，業(yè)務(wù)老師在系統(tǒng)上輸入指令包含題目類型、題目難易程度、題目數(shù)量、知識范圍等，機務(wù)系統(tǒng)后臺進行大模型指令組裝，調(diào)用Autobots平臺上已調(diào)試好的大模型接口，進行生成結(jié)果的獲取，并以預覽的方式展示給用戶。用戶對于采納的試題可一鍵加入題庫。AutoBots平臺上，先根據(jù)用戶的指令，從向量庫中召回相關(guān)知識。然后大模型根據(jù)提供的知識和要求進行試題的生成，并以JSON的格式進行結(jié)果返回。

3、大模型流程設(shè)計

采用AutoBots平臺的流程編排能力，進行大模型能力的構(gòu)建。

3.1 接收指令

接受指令中僅包含1個參數(shù)query，及為用戶下發(fā)的指令，其中包含知識范圍、題目類型、試題數(shù)量、難易程度等。（若直接通過接口調(diào)用的話，也可以拆解為多個參數(shù)，以便后續(xù)流程使用）

3.2 知識召回

知識召回節(jié)點的目的在于從向量庫中，召回本次生成范圍所需的相關(guān)知識，比如某本手冊等。該節(jié)點會生成一個outputList列表，其中即為相關(guān)的知識。

3.3 大模型試題生成

通過大模型，結(jié)合召回的知識和試題生成的要求進行試題生成，由于需要和業(yè)務(wù)系統(tǒng)對接，所以需要對生成結(jié)果的格式進行指定，提示詞如下：

# 角色

你是一位專業(yè)的題庫專家，擅長根據(jù){{document}}的內(nèi)容按照{(diào){question}}要求生成對應(yīng)題型的試題。你的專業(yè)知識和豐富經(jīng)驗使你能夠準確地理解和轉(zhuǎn)化用戶的需求，生成滿足要求的題目和答案。

## 技能

### 技能1: 生成單選題

- 根據(jù)用戶提供的內(nèi)容，生成單選題。

- 保證每個單選題至少有四個選項。

- 選項編號按照ABCD排列

- 輸出格式：{"type":"固定值：singleChoice","question": "題目描述","options": [{"optionName":"選項編號","optionContent":"選項描述"},{"optionName":"選項編號","optionContent":"選項描述"}],"correctAnswer": "正確選項編號"}

### 技能2: 生成多選題

- 根據(jù)用戶提供的內(nèi)容，生成多選題。

- 保證每個多選題至少有四個選項。

- 選項編號按照ABCD排列

- 輸出格式：{"type":"固定值：multipleChoice","question": "題目描述","options": [{"optionName":"選項編號","optionContent":"選項描述"},{"optionName":"選項編號","optionContent":"選項描述"}],"correctAnswer": ["正確選項編號1", "正確選項編號2"]}

### 技能3: 生成判斷題

- 根據(jù)用戶提供的內(nèi)容，生成判斷題。

- 輸出格式：{"type":"固定值：trueOrFalse","question": "題目描述","correctAnswer": "Y or N"}

### 技能4: 生成簡答題

- 根據(jù)用戶提供的內(nèi)容，生成簡答題。

- 輸出格式：{"type":"固定值：shortAnswer","question": "題目描述","correctAnswer": "正確答案"}

## 約束：

- 只生成與用戶提供內(nèi)容相關(guān)的題目。

- 必須遵守指定的輸出格式，并以JSON數(shù)組的格式整合返回結(jié)果，且不要包含json前綴。

- 保證每個題目的描述在100字以內(nèi)。

- 保證每個選項的描述在50字以內(nèi)。

- 保證每個題目的正確答案在50字以內(nèi)。

3.4 結(jié)果返回

該節(jié)點為結(jié)果節(jié)點，像調(diào)用方返回最終的結(jié)果，由于本場景僅需最終生成的試題，因此直接輸出大模型試題生成節(jié)點的結(jié)果即可：{{output}}。

3.5 效果

指令請根據(jù)CCAR-396-R3民用航空安全信息管理規(guī)定中對信息報告的相關(guān)要求，生成5道單選題。

知識庫召回結(jié)果:

?

大模型生成結(jié)果：

[
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，民航局對在民用航空安全信息管理工作中做出突出貢獻的單位和個人給予什么？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "罰款"
            },
            {
                "optionName": "B",
                "optionContent": "表彰和獎勵"
            },
            {
                "optionName": "C",
                "optionContent": "警告"
            },
            {
                "optionName": "D",
                "optionContent": "培訓"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，緊急事件發(fā)生后，事發(fā)相關(guān)單位應(yīng)當在事件發(fā)生后多少小時內(nèi)填報民用航空安全信息報告表？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "6小時"
            },
            {
                "optionName": "B",
                "optionContent": "12小時"
            },
            {
                "optionName": "C",
                "optionContent": "24小時"
            },
            {
                "optionName": "D",
                "optionContent": "48小時"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，民用航空安全信息工作實行什么原則？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "統(tǒng)一管理、分級負責"
            },
            {
                "optionName": "B",
                "optionContent": "分散管理、統(tǒng)一負責"
            },
            {
                "optionName": "C",
                "optionContent": "自愿管理、分級負責"
            },
            {
                "optionName": "D",
                "optionContent": "統(tǒng)一管理、統(tǒng)一負責"
            }
        ],
        "correctAnswer": "A"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，局方和企事業(yè)單位應(yīng)當為民用航空安全信息管理人員配備哪些設(shè)備？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "便攜式計算機、網(wǎng)絡(luò)通訊設(shè)備"
            },
            {
                "optionName": "B",
                "optionContent": "移動存儲介質(zhì)、傳真機"
            },
            {
                "optionName": "C",
                "optionContent": "錄音筆"
            },
            {
                "optionName": "D",
                "optionContent": "以上都是"
            }
        ],
        "correctAnswer": "D"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，非緊急事件發(fā)生后，事發(fā)相關(guān)單位應(yīng)當在事發(fā)后多少小時內(nèi)填報民用航空安全信息報告表？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "12小時"
            },
            {
                "optionName": "B",
                "optionContent": "24小時"
            },
            {
                "optionName": "C",
                "optionContent": "48小時"
            },
            {
                "optionName": "D",
                "optionContent": "72小時"
            }
        ],
        "correctAnswer": "C"
    }
]

4、業(yè)務(wù)系統(tǒng)集成

生成條件采用結(jié)構(gòu)化的方式，方便用戶精準的識別到其需要填寫的內(nèi)容，從而促進指令下發(fā)的準確度，保證試題生成的質(zhì)量。對于生成的結(jié)果，可一鍵加入題庫，供后續(xù)使用。

5、持續(xù)升級

5.1 支持大批量試題生成

首次進行場景0-1的建設(shè)，因此對單次試題生成的數(shù)量進行了限制，避免資源消耗過大。后續(xù)會根據(jù)使用情況逐步放開，支持100道/次以上的生成規(guī)模。

5.2 支持針對于整份文件的生成

基于向量庫知識召回的方式進行實現(xiàn)的方式，由于向量庫進行知識召回返回的是TOP N，因此勢必會存在內(nèi)容缺失，該種方式更加便于針對文檔中的部分內(nèi)容進行試題生成。后續(xù)將通過文件識別的方式，直接解析文件，根據(jù)整份文件內(nèi)容進行生成。

5.3 生成的試題增加重復率限制

在試題生成節(jié)點之后，增加重復率識別的判斷，若存在重復率不滿足條件的試題，則從結(jié)果中剔除，并再次進行補充生成。

5.5 現(xiàn)有題庫有效性識別

通過系統(tǒng)定時任務(wù)的方式，將通過試題題目進行文檔知識召回，并將試題及試題相關(guān)的知識提交至大模型，由大模型進行有效性判斷，若存在失效風險則返回標記及修改建議，在系統(tǒng)題庫功能上進行著重表示并消息提醒相關(guān)用戶，進行復核確認。

五、效能提升

六、簡要總結(jié)

通過AI大模型幫助用戶進行培訓試題的生成，在一定程度上將用戶從低效、低技術(shù)含量、大工作量中解放出來，是面向用戶痛點的一次嘗試。同時通過該場景將大模型的能力和業(yè)務(wù)場景及工程系統(tǒng)結(jié)合了起來，讓用戶得到感知，也便于后續(xù)更多的大模型實踐場景的發(fā)掘和落地。

該案例不僅用在航空領(lǐng)域，在其他諸多需要生成試題，生成問卷等相關(guān)場景方面都可進行參考和嘗試。當前現(xiàn)在試題生成能力也僅是實現(xiàn)在從0到1的落地建設(shè)，能力需要不斷的打磨和完善，后續(xù)會逐步進行1到100，100到∞的升級。

?審核編輯 黃宇