最近，開源中國 OSCHINA、Gitee 與 Gitee AI聯(lián)合發(fā)布了《2024 中國開源開發(fā)者報告》。

報告聚焦 AI 大模型領(lǐng)域，對過去一年的技術(shù)演進(jìn)動態(tài)、技術(shù)趨勢、以及開源開發(fā)者生態(tài)數(shù)據(jù)進(jìn)行多方位的總結(jié)和梳理。

在第二章《TOP 101-2024 大模型觀點(diǎn)》中，同濟(jì)大學(xué)特聘教授、CCF 杰出會員朱少民對 2024 年 AI 編程技術(shù)與工具發(fā)展進(jìn)行了總結(jié)。

全文如下：

2024 年 AI 編程技術(shù)與工具發(fā)展綜述

文 / 朱少民 2024 年 8 月下旬，一款 AI 代碼編輯器 ——Cursor 火爆全球，火到一位 8 歲小女孩拿著它學(xué)編程，幾十分鐘內(nèi)搭起來一個聊天機(jī)器人，其演示吸引來 180 萬人在線圍觀。這導(dǎo)致有人大膽預(yù)言，未來編程只需要狂按 Tab 就夠了。Cursor 確實(shí)好用，包括新推出的“光標(biāo)位置預(yù)測”功能。 但是 AI 編程發(fā)展沒有那么快，在國內(nèi)生成代碼采納率還比較低，根據(jù)《2024 軟件研發(fā)應(yīng)用大模型國內(nèi)現(xiàn)狀調(diào)研報告》，多數(shù)團(tuán)隊在 10-40% 之間，如圖 1 所示。

圖 1 大模型（LLM）在編程上的應(yīng)用及其生成代碼的采納率 在 2024 年，我們還看到了“AI 程序員” Devin 的誕生，Devin 能夠獨(dú)立完成復(fù)雜的編碼和調(diào)試任務(wù)、自主查找和修復(fù)代碼庫中的錯誤，構(gòu)建和部署應(yīng)用程序。在 SWE-bench 編碼基準(zhǔn)測試中，Devin 能夠解決 GitHub 中 13.86% 的真實(shí)問題，有了很大提升。 說起 SWE-bench 編碼基準(zhǔn)測試（https://www.swebench.com/），2024 年進(jìn)步很快，以 OpenAI 建立的 verified 子集（500 個問題）為例，4 月開始時，成功率只有 2.8%，到現(xiàn)在已提升到 53%，這表明 AI 在編程能力方面取得了顯著的進(jìn)步。這一提升反映了 AI 編程幾個關(guān)鍵因素，正好用來總結(jié) 2024 年 AI 編程的進(jìn)展。 模型能力的增強(qiáng)：AI 模型的架構(gòu)和算法不斷優(yōu)化，如從 Claude 3 Opus、GPT-4o 到 Claude 3.5 Sonnet、Claude 3.5 Haiku，大模型自身的能力不斷提升，使得模型能夠更好地理解和解決復(fù)雜的編程問題。 智能體（AI agent）的引進(jìn)：智能體可以收集和學(xué)習(xí)與任務(wù)相關(guān)的知識，可以直接調(diào)用靜態(tài)代碼分析工具、直接調(diào)用搜索引擎和 API 為編程任務(wù)服務(wù)，并通過構(gòu)建代碼倉庫知識圖來幫助大模型全面理解軟件倉庫的結(jié)構(gòu)和依賴關(guān)系，從而更好地定位問題根源并生成有效的代碼補(bǔ)丁。 智能體還可以動態(tài)獲取代碼片段和問題相關(guān)的信息，并分析和總結(jié)收集到的信息，以便規(guī)劃出更好的解決方案。例如從 RAG+GPT 4 (1106) 的 2.8% 提升到 SWE-agent+GPT 4 (1106) 的 22.4%、從 RAG+Claude 3 Opus 的 7% 提升到 SWE-agent+Claude 3 Opus 的 18.2%，效果都比較顯著。 多模態(tài)能力：多模態(tài) LLM 使智能體能夠綜合利用視覺和文本信息，可以理解軟件用戶界面、處理的圖表、可視化數(shù)據(jù)、語法高亮和交互映射等內(nèi)容，更好地理解任務(wù)陳述以及獲取任務(wù)相關(guān)的產(chǎn)品信息、開發(fā)過程信息，從而更全面地理解和解決問題。目前排在 SWE-bench verified 前 4 位都使用了 Claude-3.5-Sonnet，而它是多模態(tài)的、具備處理文本和視覺信息的能力，使其能夠理解和修復(fù)包含圖像或其他視覺元素的 GitHub 問題。 和工具集成的框架：可以支持智能體在處理復(fù)雜任務(wù)時進(jìn)行更好的任務(wù)管理和執(zhí)行，并促進(jìn)不同 AI 模型和工具之間的協(xié)作。 例如 Composio SWE-Kit 集成文件操作、代碼分析、Shell 命令執(zhí)行、知識庫管理和數(shù)據(jù)庫操作等工具或能力，優(yōu)勢互補(bǔ)，將 SWE-bench verified 大幅度提升到 48.6%。 再比如 OpenHands+CodeAct v2.1 將智能體的行為整合到統(tǒng)一代碼行動空間的框架，允許 OpenHands 在編程任務(wù)中扮演全方位的智能助手角色，目前排在 SWE-bench verified 第一位（53%）。 基于代碼大模型的自身進(jìn)化，以及 RAG 技術(shù)、智能體的有力支持，從而 LLM 有更好的上下文感知能力。例如，在代碼大模型預(yù)訓(xùn)練時，其訓(xùn)練語料中加入抽象語法樹（AST）、代碼依賴關(guān)系等數(shù)據(jù)，新的代碼生成模型則具有更強(qiáng)的上下文感知能力。 在此基礎(chǔ)上，基于 AI 的編程工具能夠根據(jù)給定的上下文（如函數(shù)名、注釋、部分代碼等）檢索出最相關(guān)的代碼片段和文檔，能夠提供完整的函數(shù)或代碼塊建議。這也使得 LLM 能夠參考海量的代碼庫和技術(shù)文檔，這不僅能緩解大模型的幻覺問題，顯著提升代碼生成與理解的準(zhǔn)確性，而且能符合上下文的代碼，更能滿足開發(fā)的業(yè)務(wù)需求。 未來，研發(fā)人員和多個智能體、工具協(xié)同工作來完成編程工作，如論文 Flows:Building Blocks of Reasoning and Collaborating AI 所描述的（圖 2 所示），構(gòu)成一個復(fù)合競爭性編碼流程，研發(fā)人員更多是提需求，由 LLM 和智能體實(shí)現(xiàn)自主編程的過程。

圖 2 由 LLM 和智能體實(shí)現(xiàn)自主編程的過程 隨著大模型技術(shù)的迅速發(fā)展，在今年，我們明顯能感到，AI 已從單一的輔助工具，逐漸演變?yōu)檐浖_發(fā)人員不可或缺的助手或伙伴。 除了前面已介紹的 Cursor、Composio SWE-Kit、OpenHands CodeAct 等工具之外，國內(nèi)主要使用 chatGPT、GitHub Copilot、通義靈碼、CodeGeeX、文心快碼、螞蟻 CodeFuse 等編程工具，國外還出現(xiàn)一些受歡迎的、新的編程工具，如 Codeium IDE Cascade、Solver ai、Websim ai 等。

圖 3 國內(nèi)編程助手使用狀況（來源同圖 1） 這些工具讓我們能感受到 AI 卓越的生成能力和理解能力，幫助我們更高效地完成代碼生成、代碼評審、代碼解釋到單測生成、缺陷定位、代碼優(yōu)化等任務(wù)。這種進(jìn)步也體現(xiàn)在今年國內(nèi)企業(yè)一些落地實(shí)踐中：

在一些大廠，LLM 已經(jīng)實(shí)際應(yīng)用到代碼審查或 CI/CD 流程中（如 pull request），自動識別代碼質(zhì)量問題并提出改進(jìn)建議。

有些企業(yè)結(jié)合智能體和相關(guān)工具的支持，讓基于 LLM 的研發(fā)平臺生成代碼流程圖和類圖，輔助自然語言解釋，使得開發(fā)者更直觀地理解代碼結(jié)構(gòu)和執(zhí)行流程，增強(qiáng)智能編程的可視性和交互性。

有些開發(fā)團(tuán)隊借助智能體和 RAG 技術(shù)檢索歷史上已知的代碼缺陷模式和已知問題，從而比較準(zhǔn)確地識別潛在的缺陷和安全漏洞，甚至能夠分析代碼的功能意圖，全面提升代碼評審的能力。

有些團(tuán)隊，根據(jù) UI 設(shè)計圖，讓 LLM 自動生成相應(yīng)的前端代碼，大大減少了手動編碼的時間，加快了從設(shè)計到實(shí)現(xiàn)的流程。

從應(yīng)用效果看，前面調(diào)研的數(shù)據(jù)可供參考。在國內(nèi) AI 編程開展比較好的大廠，超過 80% 的工程師在使用 AI 編程工具完成日常的編程工作，近 30% 入庫的代碼由 AI 生成，生成代碼平均采納率超過 40%，有些產(chǎn)品線達(dá)到 60%。僅僅在編程這一項(xiàng)工作（雖然只占開發(fā)人員 20-30% 的工作量）上，研發(fā)效率能提升 20-30%。

圖 4 大模型時代的軟件研發(fā)正確方式 當(dāng)然，我們不能局限于這一個編程環(huán)境，最好要從需求開始就應(yīng)用大模型。ATDD（驗(yàn)收測試驅(qū)動開發(fā)）是大模型時代軟件研發(fā)的正確打開方式，讓大模型幫我們生成需求及其驗(yàn)收標(biāo)準(zhǔn)，業(yè)務(wù)約束更明確了，上下文更清楚了，在此基礎(chǔ)上分別由不同的模型生成產(chǎn)品代碼和測試代碼，再讓它們之間相互驗(yàn)證和博弈（如圖 4 所示），最終交付高質(zhì)量的軟件。 未來，隨著 AI 技術(shù)的不斷成熟和創(chuàng)新，AI 編程工具將進(jìn)一步提升智能化和可解釋性，支持更多的編程語言和平臺，并通過強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)自適應(yīng)優(yōu)化。為了全面發(fā)揮 AI 編程技術(shù)的潛力，開發(fā)團(tuán)隊需要不斷學(xué)習(xí)和適應(yīng)新技術(shù)，優(yōu)化開發(fā)流程，確保 AI 工具的有效應(yīng)用和高質(zhì)量輸出。