你的新 AI 金融大師，但代價(jià)是什么？

布隆伯格發(fā)布了一項(xiàng)史無前例的公告，可能會(huì)永遠(yuǎn)改變我們對(duì)金融和投資方式的理解。

但為什么？好吧，這很簡(jiǎn)單。

想一想世界上最大的金融機(jī)構(gòu)之一在過去四十年中積累的所有財(cái)務(wù)數(shù)據(jù)，然后想象一個(gè)內(nèi)置所有這些知識(shí)的對(duì)話式且易于訪問的聊天機(jī)器人。

那是 BloombergGPT。

BloombergGPT 代表了世界上最重要的部門金融與人類進(jìn)步史上的根本性轉(zhuǎn)變之一生成人工智能之間的融合。

但 BloombergGPT 也可能帶來無法預(yù)料的后果，這些后果可能會(huì)嚴(yán)重影響您的投資，并將金融市場(chǎng)的整體非理性推向新的記錄。

不同的數(shù)據(jù)，不同的結(jié)果

Bloomberg 已決定進(jìn)入看似未開發(fā)的金融 LLM 世界，即為金融任務(wù)訓(xùn)練的 AI 模型，因?yàn)檫@些模型具有巨大的前景。

然而，BloombergGPT（不要因其名稱與 OpenAI 的產(chǎn)品系列混淆）是一種端到端的專有彭博解決方案。

換句話說，他們并沒有簡(jiǎn)單地將他們的數(shù)據(jù)連接到 OpenAI 的 GPT-4 API 并根據(jù)他們的需要微調(diào)模型——即進(jìn)一步訓(xùn)練一個(gè)已經(jīng)預(yù)先訓(xùn)練過的模型，比如 GPT-4。

恰恰相反，他們從頭開始創(chuàng)建了一個(gè)模型。

特別是，他們將其開發(fā)基于 BLOOM，這是一個(gè)由 Hugging Face 的聯(lián)合創(chuàng)始人領(lǐng)導(dǎo)的開源項(xiàng)目，它創(chuàng)建了一個(gè)大型語言模型 (LLM)，與 OpenAI 的 GPT 系列相比，任何人都可以訪問，同時(shí)大小非常相似。

但這并不是讓 BloombergGPT 真正與眾不同的原因。

成為您最好的財(cái)務(wù)朋友的 3630 億個(gè)理由

盡管身處當(dāng)今競(jìng)爭(zhēng)最激烈的行業(yè)之一，BloombergGPT 還是有一個(gè)獨(dú)特之處。

它是在歷史上最大的金融數(shù)據(jù)集 3630 億個(gè)令牌（一個(gè)令牌是一組字符或單詞）中訓(xùn)練的模型。

這意味著這個(gè)模型可以準(zhǔn)確地描述為 LLM，它更多地接觸了我們所見過的財(cái)務(wù)數(shù)據(jù)，這讓任何其他可能的比較都非常尷尬。

但這還不是全部。

為了最大限度地提高結(jié)果，他們采用了一種新的訓(xùn)練方法，使用多樣化的數(shù)據(jù)集，其中大約一半是嚴(yán)格在領(lǐng)域內(nèi)的，例如財(cái)務(wù)報(bào)告和新聞，另一半是公開的一般知識(shí)信息主要在 Internet 上可用。

根據(jù)執(zhí)行的評(píng)估，這使得該模型成為有史以來第一個(gè)在金融方面表現(xiàn)出色同時(shí)在其他領(lǐng)域也相當(dāng)出色的 LLM，同時(shí)比 GPT-4 等最先進(jìn)的模型小得多.

但這怎么可能呢？

不做大的 500 億個(gè)理由

Bloomberg 對(duì)該模型的特殊性持開放態(tài)度，從它“僅”500 億個(gè)參數(shù)開始。

自然地，人們傾向于思考：如果這些模型隨著規(guī)模的增長(zhǎng)而變得更好，那么當(dāng)我們擁有 1750 億參數(shù)的 GPT-3、5800 億的 Google Brains 的 PaLM 或巨大的 Megatron 等模型時(shí)，為什么只有 500 億參數(shù)- LM 達(dá)到瘋狂的 1 萬億？

事實(shí)上，參數(shù)的數(shù)量不是任意的，您需要考慮許多因素，例如數(shù)據(jù)集的大小。

如果你訓(xùn)練的模型對(duì)于你的數(shù)據(jù)集來說太大了，你的模型就會(huì)過擬合。

也就是說，它會(huì)通過記憶來學(xué)習(xí)完全適應(yīng)你的數(shù)據(jù)，使其不適用于訓(xùn)練語料庫之外的數(shù)據(jù)。

相反，如果您的模型對(duì)于您的數(shù)據(jù)集來說太小，您的模型將欠擬合，這意味著它不會(huì)因?yàn)槿狈φ_學(xué)習(xí)數(shù)據(jù)所需的大小而無法很好地進(jìn)行預(yù)測(cè)。

出于這些原因，他們使用Hoffmann 等人關(guān)于訓(xùn)練的理想模型大小的指導(dǎo)方針，以 500 億結(jié)算。

但令人驚訝的是，盡管它比其他模型小得多，但由于其獨(dú)特的訓(xùn)練數(shù)據(jù)集，它在金融主題上的表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于其他模型。

總而言之，這里的一切聽起來都很棒，但布隆伯格實(shí)際上取得了什么成就？

偉大的計(jì)算器，更好的心理學(xué)家

BloombergGPT 的評(píng)估涉及多項(xiàng)財(cái)務(wù)任務(wù)。這些包括：

1. FPB：金融新聞句子的情感分類任務(wù)

2. FiQA SA：預(yù)測(cè)財(cái)經(jīng)新聞和微博頭條中特定方面的情緒。

3. 標(biāo)題：確定黃金商品領(lǐng)域的新聞標(biāo)題是否包含特定信息的二元分類任務(wù)。

4. NER：用于信用風(fēng)險(xiǎn)評(píng)估的金融數(shù)據(jù)命名實(shí)體識(shí)別任務(wù)。

命名實(shí)體識(shí)別涉及正確識(shí)別數(shù)據(jù)中的實(shí)體。

例如，對(duì)于“Twitter has open source its algorithm”這句話，機(jī)器應(yīng)該能夠?qū)?nbsp;Twitter 標(biāo)記為一個(gè)組織。

另一方面，對(duì)于“Twitter 發(fā)布其最新功能”這句話，Twitter 可以被標(biāo)記為組織或產(chǎn)品，使其成為一項(xiàng)重要的練習(xí)。

5. ConvFinQA：一項(xiàng)任務(wù)，需要根據(jù)標(biāo)準(zhǔn)普爾 500 指數(shù)收益報(bào)告回答會(huì)話問題，報(bào)告在公共開發(fā)集上的精確匹配準(zhǔn)確性。

不出所料，BloombergGPT 在五項(xiàng)任務(wù)（ConvFinQA、FiQA SA、FPB 和 Headline）中的四項(xiàng)（ConvFinQA、FiQA SA、FPB 和 Headline）中的所有模型（GPT-Neo X、OPT 66B 和 BLOOM 176B）中表現(xiàn)最好，并且在 NER 中排名第二，正如我們所見以下：

因此，我們很快就會(huì)看到 BloombergGPT 被用于分析市場(chǎng)情緒、解讀新聞標(biāo)題、制作財(cái)務(wù)文件，甚至做出交易決策。

太棒了，但代價(jià)是什么？

把我們的錢給機(jī)器人

在 BloombergGPT 可能做出的所有貢獻(xiàn)中，我敢打賭，讓 Bloomberg 大賺一筆的將是情緒分析。

情緒機(jī)器

BloombergGPT 在五個(gè)內(nèi)部特定方面的情緒分析任務(wù)上進(jìn)行了評(píng)估，全部使用英語。

任務(wù)是：

1. 股票新聞情緒：預(yù)測(cè)新聞報(bào)道中表達(dá)的對(duì)公司的情緒。

2. 股票社交媒體情緒：預(yù)測(cè)與財(cái)務(wù)相關(guān)的社交媒體內(nèi)容中表達(dá)的對(duì)公司的情緒。

3. Equity Transcript Sentiment：預(yù)測(cè)公司新聞發(fā)布會(huì)的成績(jī)單中表達(dá)的對(duì)公司的情緒。

4. ES News Sentiment：預(yù)測(cè)新聞報(bào)道中表達(dá)的關(guān)于公司環(huán)境和社會(huì)政策的情緒。

5. 國家新聞情緒：預(yù)測(cè)新聞報(bào)道中表達(dá)的對(duì)一個(gè)國家經(jīng)濟(jì)的情緒。

BloombergGPT 在這些情緒分析任務(wù)上的表現(xiàn)優(yōu)于所有其他模型，如下所示：

現(xiàn)在，我希望你想一想這可能帶來的影響。

讓情緒化的市場(chǎng)更加非理性

如果我們能夠計(jì)算出有多少投資決策是完全情緒化的決策，尤其是那些短期到期的決策，我們可能會(huì)遠(yuǎn)遠(yuǎn)超過一個(gè)舒適的價(jià)值。

事實(shí)上，像許多上市公司每天都遭受的情況，比如看到你的 10% 的價(jià)值被聊天機(jī)器人的錯(cuò)誤陳述抹去，正如谷歌與巴德看到的那樣，表明金融市場(chǎng)是多么的不合理和荒謬。

然而，數(shù)億美元的資金是基于頭條新聞、有偏見的分析師預(yù)測(cè)和不明智的決策而轉(zhuǎn)移的。

例如，人們開始拋售他們?cè)?nbsp;Republic First Bancorp 的頭寸，將這家銀行的名字與陷入困境的 First Republic Bank 混淆（歇斯底里地，這導(dǎo)致這家銀行的股票價(jià)值每月下跌 30%，僅僅因?yàn)槊窒嗨频搅硪患毅y行）。

因此，如果這個(gè)工具被市場(chǎng)參與者普遍使用，會(huì)有多危險(xiǎn)？

不受控制的決策和波動(dòng)

想象一下，所有投資銀行的交易部門和其他強(qiáng)大的市場(chǎng)參與者都開始使用相同的工具來評(píng)估市場(chǎng)情緒，以提高日間交易的效率。

突然間，價(jià)值數(shù)十億美元的資金將取決于該工具從新聞?lì)^條或財(cái)務(wù)報(bào)告中衡量情緒的程度，從而使公司和散戶投資者可以突然進(jìn)行投資以尋找額外的一分錢。

自然地，如果大型持有者合并到相同的工具中，波動(dòng)性將大大增加，因?yàn)榇蟛糠质袌?chǎng)參與者將獲得相同的阿爾法并根據(jù)相同的有偏見的模型得出相同的結(jié)論，同時(shí)使那些無法利用這些技術(shù)的人裸泳被抓。

一個(gè)不平等和波動(dòng)性更高的市場(chǎng)？

如果模型對(duì)某些公司產(chǎn)生特定的、無法解釋的偏見，迫使他們對(duì)他們產(chǎn)生負(fù)面情緒，從而使整個(gè)市場(chǎng)都反對(duì)他們，那會(huì)發(fā)生什么？

總而言之，我的觀點(diǎn)是，在一個(gè)已經(jīng)充斥著猖獗的投機(jī)和笨拙的決策的市場(chǎng)中，這些模型的極端便利性可以使它們成為決定整體市場(chǎng)走勢(shì)的相關(guān)因素。

例如，如果交易機(jī)器人沒有自動(dòng)增強(qiáng)這些模型以做出自動(dòng)交易決策，我會(huì)感到非常驚訝。

當(dāng)然，也有人會(huì)提出相反的觀點(diǎn)，認(rèn)為這些模型也將被用來更好地了解公司，以便根據(jù)他們擁有的大量知識(shí)做出更好的決策。

但是，市場(chǎng)對(duì)好消息或壞消息的反應(yīng)速度極快，加上人類在壓力和長(zhǎng)時(shí)間工作是常見趨勢(shì)的工作中必須適應(yīng)自己并自動(dòng)做出某些決定的自然趨勢(shì)，使我相信潛在的結(jié)果這些模型的負(fù)面影響可能遠(yuǎn)大于正面影響。

最后一句話

BloombergGPT 只是 AI 創(chuàng)新的冰山一角，從中可以看出跟上這項(xiàng)技術(shù)的發(fā)展有多么困難。

但是，如果您訂閱我的時(shí)事通訊，每周只需 5 分鐘即可完成，因?yàn)槟鷮⒁砸环N易于閱讀、易于理解的方式深入探討創(chuàng)新主題，為您提供有關(guān) AI 的最新消息和有見地的創(chuàng)新和加密貨幣。