公開文件顯示,蘋果開發(fā)自家的人工智能(AI)系統(tǒng)Apple Intelligence離不開谷歌定制芯片的支持。
美東時(shí)間7月29日周一,蘋果官網(wǎng)公布了一篇技術(shù)論文,詳細(xì)介紹為支持蘋果個(gè)人智能化系統(tǒng)Apple Intelligence而開發(fā)了一些基礎(chǔ)語言模型,包括一個(gè)用于在設(shè)備上高效運(yùn)行的約30億參數(shù)模型——端側(cè)“蘋果基礎(chǔ)模型”(AFM),以及一個(gè)為蘋果云端AI架構(gòu)“私有云計(jì)算”(Private Cloud Compute)而設(shè)計(jì)的大型服務(wù)器語言模型——服務(wù)器AFM。
論文中,蘋果介紹,端側(cè)AFM和服務(wù)器AFM是蘋果開發(fā)的生成式模型大家族成員,這些模型都用于支持用戶和開發(fā)者。論文中,蘋果披露,訓(xùn)練模型采用了谷歌研發(fā)的第四代AI ASIC芯片TPUv4和更新一代的芯片TPUv5。文章寫道:
“我們在8192塊TPUv4 芯片上從無到有訓(xùn)練服務(wù)器AFM,使用4096的序列長度和4096個(gè)序列的批量大小,進(jìn)行6.3萬億token訓(xùn)練。”
“端側(cè)AFM在2048塊TPUv5p芯片上進(jìn)行訓(xùn)練。”
在這篇長達(dá)47頁的論文中,蘋果沒有提到谷歌或是英偉達(dá)的名字,但表示,其AFM和AFM 服務(wù)是在“云TPU 集群”上訓(xùn)練。這意味著,蘋果向云服務(wù)商租用了服務(wù)器執(zhí)行計(jì)算。
事實(shí)上,今年6月的全球開發(fā)者大會(huì)(WWDC)期間,媒體已經(jīng)在蘋果公布的技術(shù)文件細(xì)節(jié)中發(fā)現(xiàn),谷歌成為蘋果在AI領(lǐng)域發(fā)力的另一位贏家。蘋果的工程師在構(gòu)建基礎(chǔ)模型時(shí)運(yùn)用了公司自研的框架軟件及多種硬件,包括僅在谷歌云上可用的張量處理單元(TPU)。只不過,蘋果未透露,相比英偉達(dá)等其他AI硬件供應(yīng)商,蘋果有多依賴谷歌的芯片和軟件。
因此,本周一在社交媒體X上有評論指出,6月就出過蘋果用谷歌芯片的消息,現(xiàn)在我們有了更多關(guān)于訓(xùn)練堆棧的細(xì)節(jié)。
有評論稱,蘋果并不是討厭英偉達(dá),只不過TPU的速度更快。還有評論稱,TPU速度更快,所以蘋果用它是有道理的,當(dāng)然也可能它比英偉達(dá)的芯片更便宜。
本周一媒體評論稱,谷歌的TPU最初是為內(nèi)部工作負(fù)載而創(chuàng)建,現(xiàn)在正得到更廣泛的應(yīng)用。蘋果用谷歌芯片訓(xùn)練模型的決定表明,在AI訓(xùn)練方面,一些科技巨頭可能正在尋找并且已找到英偉達(dá)AI芯片的替代品。
華爾街見聞曾提到,上周,Meta的CEO扎克伯格和Alphabet兼谷歌的CEO皮查伊都在講話中暗示,他們的公司和其他科技業(yè)公司可能在AI基礎(chǔ)設(shè)施方面投資過度,“可能過多投入AI”。但他們同時(shí)都承認(rèn),如果不這樣做,商業(yè)風(fēng)險(xiǎn)太高。
扎克伯格說:
“落后的后果是,你在未來10到15年內(nèi),都會(huì)在最重要的技術(shù)上處于不利地位。”
皮查伊說:
AI成本高,但投資不足的風(fēng)險(xiǎn)更大。谷歌可能在AI基礎(chǔ)設(shè)施上投資過多,主要包括購買英偉達(dá)的GPU。即使AI熱潮放緩,公司購買的數(shù)據(jù)中心和計(jì)算機(jī)芯片也可以用于其他用途。對我們來說,投資不足的風(fēng)險(xiǎn)遠(yuǎn)遠(yuǎn)大于投資過度的風(fēng)險(xiǎn)。