ChatGPT 將海量訓(xùn)練數(shù)據(jù)與 Transformer 框架結(jié)合，在 GPT 模型的基礎(chǔ)上通過(guò) RLHF 模型提升交互聊天能力，實(shí)現(xiàn)了對(duì)自然語(yǔ)言的深度建模，Transformer 有望在未來(lái) 較長(zhǎng)時(shí)間內(nèi)成為 AIGC 語(yǔ)言領(lǐng)域的核心技術(shù)框架。

Transformer 架構(gòu)為自然語(yǔ)言理解領(lǐng)域帶來(lái)顛覆性變革，應(yīng)用到 NLP、CV、生物、化 學(xué)等多領(lǐng)域。2017 年，谷歌跳出 RNN 和 CNN 的結(jié)構(gòu)，提出了完全基于 Self-Attention 機(jī) 制的 Transformer 架構(gòu)，當(dāng)時(shí)在機(jī)器翻譯任務(wù)上取得了顛覆性的進(jìn)步。Transformer 由一個(gè) 編碼器和一個(gè)解碼器組成，且各自由若干個(gè)編碼/解碼模塊堆疊而成，每個(gè)模塊包含 MultiHead Attention 層、全連接層等功能不同的工作層。

Transformer 架構(gòu)優(yōu)勢(shì)突出，計(jì)算效率、并行度、解釋性均實(shí)現(xiàn)突破。相比于之前的 框架 Transformer 架構(gòu)除了在計(jì)算的時(shí)間復(fù)雜度更優(yōu)外，還有 3 大優(yōu)勢(shì)：

（1）可直接計(jì)算點(diǎn)乘結(jié)果，并行度高：對(duì)于數(shù)據(jù)序列 x1,x2……xn ，self-attention 可 以直接計(jì)算任意兩節(jié)點(diǎn)的點(diǎn)乘結(jié)果，而 RNN 必須按照順序從 x1 計(jì)算到 xn。

（2）一步計(jì)算，解決長(zhǎng)時(shí)依賴(lài)問(wèn)題：處理序列信息使，通常用要經(jīng)過(guò)的路徑長(zhǎng)度衡量 性能，CNN 需要增加卷積層數(shù)來(lái)擴(kuò)大視野，RNN 只能逐個(gè)進(jìn)行計(jì)算，而 self-attention 只需 要一步矩陣計(jì)算就可以，更好地解決長(zhǎng)時(shí)依賴(lài)問(wèn)題。

（3）模型更可解釋?zhuān)簊elf-attention 模型更可解釋?zhuān)琣ttention 結(jié)果的分布可反映該模型 學(xué)習(xí)到了一些語(yǔ)法和語(yǔ)義信息。