GPT-5即將問世，有望撼動整個行業(yè)。但創(chuàng)建更強(qiáng)大的模型是否只需要更多參數(shù)？
在不斷發(fā)展的軟件開發(fā)領(lǐng)域，人工智能(AI)已成為游戲規(guī)則改變者。它具有徹底改變行業(yè)和推動業(yè)務(wù)增長的潛力，引起了首席執(zhí)行官、首席財務(wù)官和投資者的關(guān)注。隨著技術(shù)繼續(xù)以前所未有的速度發(fā)展，一個問題出現(xiàn)了：人工智能能否通過原始力量得到增強(qiáng)？在本文中，成都小程序開發(fā)將探討通過增強(qiáng)計算能力來增強(qiáng)人工智能的可能性和影響。
從早期的聊天機(jī)器人（如Eliza）到現(xiàn)代機(jī)器學(xué)習(xí)算法，人工智能以驚人的速度發(fā)展，而這種快速發(fā)展得到了人工智能開發(fā)服務(wù)的大力支持。人工智能現(xiàn)在能夠在許多領(lǐng)域匹敵甚至超越人類智能。然而，這種潛力的實現(xiàn)需要付出巨大的代價：更強(qiáng)大的人工智能需要更多的能力，也就是更強(qiáng)的計算能力。
通過為AI系統(tǒng)增加更多處理能力，工程師可以解鎖新的性能水平并取得突破性成果。這可以通過各種方式實現(xiàn)，例如利用高性能計算集群或利用基于云的基礎(chǔ)設(shè)施。
讓我們以GPT-3及其模型系列為例。對于大型語言模型(LLM)，在嘗試創(chuàng)建AI時，似乎評估模型能力的標(biāo)準(zhǔn)是根據(jù)其參數(shù)數(shù)量給出的。參數(shù)數(shù)量越大，AI越強(qiáng)大。雖然尺寸確實很重要，但參數(shù)并不是一切，在某個時候，我們將遇到需要比我們所能提供的更多的處理能力的工程問題。
在我們深入探討之前，我想拿我最喜愛的一個主題來做個類比：電子游戲和游戲機(jī)?？?，我是80年代的孩子；我經(jīng)歷過90年代偉大的游戲機(jī)大戰(zhàn)——世嘉做了任天堂做不到的事情，等等。在某個時候，游戲機(jī)停止了對其音效功能或色彩質(zhì)量的營銷，而是開始談?wù)摫忍亍?
從本質(zhì)上講，位數(shù)越多，游戲機(jī)就越強(qiáng)大；每個人都在追求那些大位數(shù)。這導(dǎo)致公司想出了一些非常古怪的架構(gòu)。只要他們能宣傳自己的硬件比競爭對手擁有更多的位數(shù)（啊哈，AtariJaguar），硬件有多瘋狂就不重要了。
這種情況持續(xù)了相當(dāng)長一段時間——世嘉退出游戲機(jī)市場，索尼憑借Playstation席卷全球，微軟憑借Xbox加入競爭——每一代游戲機(jī)的核心都是這些部件。在PS2時代，我們也開始談?wù)摱噙呅魏腿f億次浮點運算；再一次，一切都圍繞著大數(shù)字。
然后PS3和Xbox360時代來臨了。哦，逼真的圖形、身臨其境的聲音等等?，F(xiàn)在，它不再是關(guān)于比特，而是關(guān)于屏幕上的多邊形數(shù)量、fps、存儲能力；再說一次，它是關(guān)于最大數(shù)字。
這兩家游戲機(jī)制造商展開了激烈競爭，在他們沒有意識到的情況下，一款小型替代品進(jìn)入了市場——任天堂的Wii。與索尼和微軟推向市場的野獸相比，Wii只是一個玩具，但任天堂很聰明。他們瞄準(zhǔn)的是普通觀眾，那些不沉迷于大數(shù)字的觀眾。最終結(jié)果不言而喻。在那一代游戲機(jī)中，PS3售出了8000萬臺，Xbox360售出了8400萬臺，而Wii呢？——1.01億臺。
小小的弱勢企業(yè)迅速占領(lǐng)了市場，而這只需要一些創(chuàng)造力和獨創(chuàng)性。
我的這些胡言亂語和AI軍備競賽有什么關(guān)系？實際上，正如我們所見，我們有充分的理由對更大的模型保持謹(jǐn)慎，這并不是因為它們將統(tǒng)治世界。
為了營造一些緊張氣氛，我們來談?wù)勛儞Q器模型，以及它們?yōu)楹螌ΜF(xiàn)代計算和機(jī)器學(xué)習(xí)如此重要。讓我們探索變換器模型的變革力量（完全是雙關(guān)語）及其對企業(yè)的影響。
Transformer模型是一種深度學(xué)習(xí)架構(gòu)，利用自注意力機(jī)制高效處理序列數(shù)據(jù)。事實上，注意力機(jī)制非常重要，以至于原始論文的標(biāo)題是“注意力就是你所需要的一切”。
為了簡化一個非常復(fù)雜的主題，與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)或卷積神經(jīng)網(wǎng)絡(luò)(CNN)不同，Transformer可以捕獲數(shù)據(jù)中的長距離依賴關(guān)系，而無需依賴順序處理。換句話說，假設(shè)您有一個裝滿照片的盒子，您希望按時間順序整理它們。
一種方法是將照片堆疊起來，然后按順序查看每張照片，根據(jù)其與最近鄰居的關(guān)系對其進(jìn)行分類。這肯定可行，但它確實帶來了一些關(guān)鍵問題：主要是你不會關(guān)注整堆照片，而是一次關(guān)注幾張。
第二種方法類似于變形金剛，將所有照片放在地板上，然后同時查看所有照片，根據(jù)顏色、風(fēng)格、內(nèi)容等找出哪些照片更接近哪些照片。發(fā)現(xiàn)區(qū)別了嗎？這種方法更注重背景，而不是順序分析。
這一突破為機(jī)器翻譯、情感分析和問答等自然語言處理(NLP)任務(wù)的顯著進(jìn)步鋪平了道路。
Transformer模型的一個關(guān)鍵優(yōu)勢是它們能夠以極高的準(zhǔn)確度理解復(fù)雜的語言結(jié)構(gòu)。通過利用自注意力機(jī)制，這些模型可以比以前的方法更有效地分析句子中單詞或短語之間的關(guān)系。
這樣說來很簡單，對吧？語境是語言的一切，Transformer可以“感知”除幾個單詞之外的更多信息，因此它擁有更多信息來準(zhǔn)確預(yù)測句子中的新詞?；蛘咴谇榫w分析等其他應(yīng)用中，它可以精確定位與某個主題相關(guān)的情緒，甚至可以根據(jù)上下文區(qū)分評論是否具有諷刺意味。
由于語言細(xì)微差別和不同語言之間的文化差異，機(jī)器翻譯一直是一項具有挑戰(zhàn)性的任務(wù)。然而，Transformer模型通過對單詞之間的全局依賴關(guān)系進(jìn)行建模，而不是像傳統(tǒng)方法那樣僅僅依賴于本地上下文，顯著提高了翻譯質(zhì)量。這一突破使全球運營的企業(yè)能夠更準(zhǔn)確地翻譯其產(chǎn)品、服務(wù)和營銷材料。
長期以來，人工智能領(lǐng)域的競爭一直被視為谷歌和OpenAI等科技巨頭之間的戰(zhàn)場。然而，一個意想不到的競爭者正在迅速崛起：開源社區(qū)。谷歌工程師的一封泄露的信認(rèn)為，在爭奪人工智能主導(dǎo)地位的競爭中，開源有潛力勝過谷歌和OpenAI。
開源平臺的一大優(yōu)勢是協(xié)同創(chuàng)新能力。隨著Meta強(qiáng)大基礎(chǔ)模型的泄露，開源社區(qū)取得了巨大的飛躍。全球各地的個人和研究機(jī)構(gòu)迅速開發(fā)出改進(jìn)和修改，其中一些甚至超過了Google和OpenAI的發(fā)展速度。
由于開源社區(qū)具有去中心化和開放的特性，其產(chǎn)生的各種想法和解決方案影響深遠(yuǎn)且極具影響力。該社區(qū)創(chuàng)建的模型迭代并改進(jìn)了現(xiàn)有解決方案，這是Google和OpenAI可以借鑒的戰(zhàn)略。
有趣的是，這位工程師還指出，這些開源模型的構(gòu)建考慮到了可訪問性。與GPT-4這樣的龐然大物相比，其中一些模型取得了令人印象深刻的結(jié)果，并且可以在功能強(qiáng)大的筆記本電腦上運行。我們可以用五個關(guān)鍵點總結(jié)他們對LLM的看法：
缺乏靈活性和速度：大型模型開發(fā)速度慢，難以快速進(jìn)行迭代改進(jìn)。這阻礙了創(chuàng)新步伐，并阻礙了對新數(shù)據(jù)集和任務(wù)的快速反應(yīng)。
昂貴的再訓(xùn)練：每當(dāng)有新的應(yīng)用或想法時，大型模型通常需要從頭開始重新訓(xùn)練。這不僅會丟棄預(yù)訓(xùn)練，還會丟棄在此基礎(chǔ)上進(jìn)行的任何改進(jìn)。在開源世界中，這些改進(jìn)會迅速累積，使全面重新訓(xùn)練的成本極高。
阻礙創(chuàng)新：雖然大型模型最初可能提供卓越的功能，但其規(guī)模和復(fù)雜性可能會扼殺快速的實驗和創(chuàng)新。開源社區(qū)中小型、快速迭代的模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過大型模型，它們的最佳版本已經(jīng)與ChatGPT等大型模型基本沒有區(qū)別。因此，對大型模型的關(guān)注使谷歌等公司處于不利地位。
數(shù)據(jù)縮放定律：大型模型通常嚴(yán)重依賴數(shù)據(jù)的數(shù)量，而不是質(zhì)量。然而，許多開源項目現(xiàn)在都在小型、精心策劃的數(shù)據(jù)集上進(jìn)行訓(xùn)練，這可能會挑戰(zhàn)機(jī)器學(xué)習(xí)中關(guān)于數(shù)據(jù)縮放定律的傳統(tǒng)觀點。
受限的可訪問性：大型模型通常需要大量計算資源，這限制了更廣泛的開發(fā)人員和研究人員對其的可訪問性。這一因素阻礙了人工智能的民主化，而民主化正是開源社區(qū)的一個關(guān)鍵優(yōu)勢。
換句話說，較小的模型可以實現(xiàn)更快的迭代，從而加快開發(fā)速度。在這種情況下，我們可以自信地說“少即是多”。開源社區(qū)對這些模型進(jìn)行的實驗令人難以置信，正如我們在第四點中提到的，它基本上質(zhì)疑了我們迄今為止對機(jī)器學(xué)習(xí)所做的許多假設(shè)。
成都小程序開發(fā)以電子游戲類比作為開篇，也以一個類比作為結(jié)束。在接受《最終幻想VI》的導(dǎo)演北瀨佳范采訪時，這位日本開發(fā)者被問及90年代游戲開發(fā)的氛圍和文化。不出所料，北瀨佳范承認(rèn)這很痛苦。
以今天的標(biāo)準(zhǔn)來看，要在8兆字節(jié)的存儲空間中容納一個史詩故事、圖像、對話、音樂甚至場景剪輯似乎是不可能的。但北瀨實際上對這次體驗評價頗高。在他看來，時間的限制迫使團(tuán)隊發(fā)揮創(chuàng)造性思維，不斷塑造和重塑他們的愿景，直到他們設(shè)法將其壓縮到8兆字節(jié)以下。
開源社區(qū)似乎體現(xiàn)了這種精神。面對沒有科技巨頭那樣的資源，他們承擔(dān)起了創(chuàng)建和開發(fā)可能在土豆上運行的模型的任務(wù)。在這個過程中，他們向我們展示了更多參數(shù)只是構(gòu)建強(qiáng)大語言模型的一條途徑。
文章均為全美專業(yè)成都小程序開發(fā)公司，專注于成都小程序開發(fā)服務(wù)原創(chuàng)，轉(zhuǎn)載請注明來自http://www.39247.cn/news/3035.html
