月之暗面近期宣布,支持200萬漢字超長無損上下文的Kimi智能助手正在內測。隨后,阿里、360集團、百度等公司緊急“出手”,紛紛入局長文本大模型賽道,推動人工智能領域投資熱情進一步升溫。
機構人士表示,相比海外大模型,國產模型在中文長文本理解方面具備比較優勢,基礎模型能力提升有望推動下游應用快速發展。AI模型、語料庫、算力租賃及運維等領域將持續受益。
● 本報記者 彭思雨 見習記者 陳子軒
取得技術突破
近期,AI大模型產品Kimi智能助手因能穩定分析處理200萬漢字長文“一炮走紅”。Kimi智能助手是初創公司月之暗面于2023年10月發布的產品。該公司創立于2023年3月,由清華大學交叉信息學院楊植麟教授領銜。今年3月18日,月之暗面宣布,Kimi智能助手再次取得技術突破,支持200萬漢字上下文的Kimi智能助手已經啟動“內測”。
隨之而來,360集團、阿里、百度等頭部廠商紛紛宣布升級AI大模型技術。3月22日,阿里通義千問宣布,向所有人免費開放1000萬字的長文檔處理功能。3月23日,360智腦宣布正式內測500萬字長文本處理功能。該功能即將入駐360AI瀏覽器。同時,360AI瀏覽器APP即將上線。另外,百度文心一言4月份將進行版本升級,屆時將開放長文本處理能力,文字范圍在200萬-500萬字。
“大模型升級文本長度,是市場需求的直接反映。”人工智能領域天使投資人郭濤向中國證券報記者表示,“長文本處理需求持續增加,如學術論文、法律文件、新聞報道等。而長文本處理能力的提升,能夠更好地模擬復雜的人類語言交流,包括理解長篇文獻、撰寫長篇文章等。”
賽智產業研究院院長趙剛告訴記者,提升長文本處理能力,可以解決當前大語言模型應用中的痛點,使得大模型商業化應用更加成熟,更容易被用戶接受。在新的用戶需求牽引下,未來長文本處理能力可能成為大模型的標配。率先布局長文本訓練和推理的大模型企業,在未來的競爭中將占據有利地位。
拓展應用領域
“從文本處理穩定性方面看,Ki-mi比ChatGPT更勝一籌。使用ChatGPT分析長文本時,很容易遇到報錯的情況,而Kimi比較少見。”一位經常使用AI大模型工具處理文本的留學生告訴中國證券報記者。
200萬到1000萬漢字,國產大模型中文文本處理能力飛速提升。據了解,目前海外主流AI大模型GPT-4 Turbo-128k公布的文本范圍約為10萬漢字,而Claude 3200k約為16萬漢字。
趙剛認為,從實際應用出發,國內大模型廠商闖出一條創新升級的新路線,很大程度上縮小了與海外Open AI等大模型企業的差距。
郭濤表示,長文本處理能力是衡量模型泛化能力的一項重要指標,其能夠更好地反映模型在處理未知或復雜數據時的表現,反映出國產大模型企業在自然語言處理(NLP)領域的技術創新能力。
文本長度的突破會帶來哪些應用前景?趙剛認為,長文本處理能力主要應用于知識密集的業務場景,比如生產活動中的編制計劃、設計方案、廣告創意等;管理活動中的文案撰寫、合同編制等;文化教育中的論文撰寫、小說撰寫、劇本編寫等應用場景。
文本處理功能擴容帶來的應用創新已經嶄露頭角。近日,華東師范大學王峰教授團隊發布國內第一部人機融合式長篇小說《天命使徒》,采用國內大語言模型+提示詞工程+人工后期潤色,整部小說超過100萬字。據介紹,該團隊將打造一個可供公眾使用的長篇小說創作平臺,將好的創意與平臺的自動寫作服務結合起來,讓人人皆可寫作長篇小說。團隊的下一個目標是將同等體量小說創作由一個半月縮短為兩至三周。
值得注意的是,業內人士認為,文本長度只是反映大模型能力的一個側面,并非評判模型訓練能力的唯一標準。郭濤表示,模型的訓練能力還包括對不同類型數據的處理能力、模型的穩定性、可擴展性等多個維度。
“在多模態、參數規模、通用性等方面,我們與Open AI等海外企業還有一定距離。”趙剛坦言。
相關產業鏈受益
長文本處理能力對數據和算力提出了更高要求。郭濤告訴記者,首先,訓練能夠處理長文本的模型,需要大量的高質量長文本數據。這些數據需要具備多樣性和代表性,確保大模型能夠學習到廣泛的語言模式和知識。其次,長文本處理通常需要更復雜的模型結構,會直接增加模型訓練的計算成本。更大的模型意味著更多的參數需要調整,需要更多算力以加速訓練過程。
大模型升級對AI算力、數據賽道的催化作用已經體現在二級市場。Wind數據顯示,近20日內,AI算力指數上漲11.56%,數據要素概念指數上漲11.94%,IDC(算力租賃)概念指數上漲13.41%。
算力方面,科大訊飛3月23日在投資者互動平臺上表示,科大訊飛算力能夠滿足未來一段時間AI算法模型訓練和推理的需求。景嘉微3月22日表示,公司景宏系列高性能智算模塊及整機產品可面向AI訓練、AI推理和科學計算等應用領域。
數據方面,海天瑞聲3月22日在投資者互動平臺上表示,公司致力于為AI產業鏈各類機構提供算法模型開發訓練所需的專業數據集。例如,常規的結構化數據分割、信息提取整合、文本摘要等。同時,公司可提供大模型強化學習相關數據處理服務。例如,對prompt的改寫、分類以及其回復內容續寫改寫等。不過,公司過往并未向月之暗面提供過相關訓練數據。
華西證券認為,相比海外大模型,國產模型在中文長文本理解方面具備比較優勢,能夠有效提升使用者工作效率。基礎模型能力的提升有望推進下游應用快速發展。AI模型、語料庫、算力租賃及運維等板塊將繼續受益。
民生證券表示,國產大模型再度迎來競爭升級,以Kimi為代表的國內大模型用戶數量激增,AI算力需求或是今年最確定的投資主線之一。