什么是神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)是如何工作的？GPT與神經(jīng)網(wǎng)絡(luò)的關(guān)系

作為一名程序員，我們習(xí)慣于去了解所使用工具、中間件的底層原理，本文則旨在幫助大家了解 AI 模型的底層機(jī)制，讓大家在學(xué)習(xí)或應(yīng)用各種大模型時(shí)更加得心應(yīng)手，...

2023-12-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)RGB人工智能 2069 0

AI模型底層機(jī)制解析GPT與神經(jīng)網(wǎng)絡(luò)的關(guān)系

GPT 想必大家已經(jīng)耳熟能詳，當(dāng)我們與它進(jìn)行對(duì)話時(shí)，通常只需關(guān)注自己?jiǎn)柍龅膯栴}（輸入）以及 GPT 給出的答案（輸出），對(duì)于輸出內(nèi)容是如何產(chǎn)生的，我們一...

2023-12-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)神經(jīng)系統(tǒng)AI 1765 0

AD轉(zhuǎn)換時(shí)間的理論推算與測(cè)量簡(jiǎn)析

AD轉(zhuǎn)換時(shí)間指的是完成一次AD轉(zhuǎn)換所需的時(shí)間，即從啟動(dòng)信號(hào)開始到轉(zhuǎn)換結(jié)束并得到穩(wěn)定的數(shù)字輸出量所需要的時(shí)間。

2023-12-08 標(biāo)簽：觸發(fā)器AD轉(zhuǎn)換GPT 2704 0

全面解析大語言模型（LLM）

internal feedback：使用LLM去預(yù)測(cè)生成的plan取得成功的概率、Tree of Thought去對(duì)比不同的plan（有點(diǎn)類似Alpha...

2023-12-05 標(biāo)簽：GPTOpenAI大模型 3059 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個(gè)K和V...

2023-12-04 標(biāo)簽：gpuGPTLLM 8567 0

LLM真的能推理和規(guī)劃嗎？

在研究人員選擇的模型中，GPT-3 davinci（非指令微調(diào)）、GPT-3 textdavinci-001（指令微調(diào)）和GPT-3 textdavin...

2023-11-30 標(biāo)簽：解碼器編碼器GPT 802 0

大模型的Scaling Law的概念和推導(dǎo)

對(duì)于Decoder-only的模型，計(jì)算量(Flops), 模型參數(shù)量, 數(shù)據(jù)大小(token數(shù))，三者滿足:。(推導(dǎo)見本文最后) 模型的最終性能...

2023-11-29 標(biāo)簽：GPTOpenAI大模型 2975 0

為什么Agent落地這么難？AI最大賽道Agent機(jī)遇全解析

“如果一篇論文提出了某種不同的訓(xùn)練方法，OpenAI內(nèi)部會(huì)嗤之以鼻，認(rèn)為都是我們玩剩下的。但是當(dāng)新的AI Agent論文出來時(shí)，我們會(huì)十分認(rèn)真且興奮地討...

2023-11-25 標(biāo)簽：SQLGPTOpenAI 2310 0

借助GPT4理解仿真中競(jìng)爭(zhēng)處理的方法

上周微信群里的一個(gè)小伙伴提到的一個(gè)關(guān)于仿真中不達(dá)預(yù)期的一個(gè)問題，其中牽涉到關(guān)于仿真中信號(hào)競(jìng)爭(zhēng)等問題。這個(gè)問題之前算是不求甚解。

2023-11-25 標(biāo)簽：高電平CLKGPT 710 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個(gè)單位。在計(jì)算交叉熵時(shí)，如果使用以 2 為底的對(duì)數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語言模型GPTOpenAI 1006 0

基于大語言模型的共情回復(fù)生成：實(shí)證研究和改進(jìn)

對(duì)以ChatGPT為代表的LLMs在共情回復(fù)生成上的表現(xiàn)進(jìn)行了全面的實(shí)證研究，LLMs在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上，對(duì)比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

2023-11-21 標(biāo)簽：編碼器GPTChatGPT 1625 1

多任務(wù)微調(diào)框架MFTCoder詳細(xì)技術(shù)解讀

MFTCoder具備高效訓(xùn)練特征，包括提供高效的數(shù)據(jù)Tokenization模式和支持PEFT微調(diào)，能有效提升微調(diào)訓(xùn)練速度并降低對(duì)資源的需求。

2023-11-17 標(biāo)簽：函數(shù)pythonGPT 1338 0

AI基礎(chǔ)軟件框架的基本概念和分類

九章云極、亞馬遜云科技、華為云、阿里云、騰訊云、Databricks和百度云被評(píng)為國(guó)內(nèi)AI基礎(chǔ)軟件市場(chǎng)的 "領(lǐng)導(dǎo)者"。

2023-11-17 標(biāo)簽：AI機(jī)器學(xué)習(xí)GPT 757 0

0代碼基礎(chǔ)也能做AI產(chǎn)品？GPTs使用指南分享

近期，小編發(fā)現(xiàn)不少小伙伴都躍躍欲試想要?jiǎng)?chuàng)建自己的GPTs，今天為大家?guī)肀Ｄ芳?jí)GPTs入門教程。

2023-11-15 標(biāo)簽：生成器GPTChatGPT 2687 0

如何解決LLMs的規(guī)則遵循問題呢？

傳統(tǒng)的計(jì)算系統(tǒng)是圍繞計(jì)算機(jī)程序中表達(dá)的指令的執(zhí)行來設(shè)計(jì)的。相反，語言模型可以遵循用自然語言表達(dá)的指令，或者從大量數(shù)據(jù)中的隱含模式中學(xué)習(xí)該做什么。

2023-11-15 標(biāo)簽：計(jì)算機(jī)人工智能GPT 785 0

產(chǎn)品化的GPT，能否為“百模大戰(zhàn)”照亮未來？

學(xué)OpenAI者生，像OpenAI者死

2023-11-09 標(biāo)簽：AIGPTOpenAI 802 0

怎樣使用Streamlit創(chuàng)建AutoGen用戶界面？

AutoGen作為一個(gè)最大化LLM(如GPT-4)能力的框架而脫穎而出。

2023-11-08 標(biāo)簽：GPTLLM 939 0

ChatGPT真的產(chǎn)生心智了嗎？ChatGPT是如何產(chǎn)生心智的？

來自斯坦福大學(xué)的最新研究結(jié)論，一經(jīng)發(fā)出就造成了學(xué)術(shù)圈的轟動(dòng)，“原本認(rèn)為是人類獨(dú)有的心智理論（Theory of Mind，ToM），已經(jīng)出現(xiàn)在ChatG...

2023-10-19 標(biāo)簽：編碼器GPT機(jī)器語言 1253 0

怎樣使用FHE實(shí)現(xiàn)加密大語言模型？

近來，大語言模型 (LLM) 已被證明是提高編程、內(nèi)容生成、文本分析、網(wǎng)絡(luò)搜索及遠(yuǎn)程學(xué)習(xí)等諸多領(lǐng)域生產(chǎn)力的可靠工具。

2023-10-19 標(biāo)簽：計(jì)算機(jī)pythonGPT 784 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項(xiàng)任務(wù)，主要用來將一大段長(zhǎng)文本壓縮為簡(jiǎn)短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 790 0