
在生成式 AI(Generative AI)快速發展的背景下,金融業常被視為最具顛覆潛力的領域。從自動化市場分析到複雜的金融模型,大型語言模型(LLMs)所帶來的願景令人嚮往。然而,一項涉及 500 名投資銀行家的開創性新基準測試,為市場帶來了冷靜的現實檢視:儘管 AI 是一種令人印象深刻的生產力工具,但其目前的產出在面對高風險的金融環境時,從本質上尚未準備好直接交付給客戶。
這項研究嚴格測試了頂尖 AI 模型在處理真實的 投資銀行 交付成果時的表現,凸顯了持續存在的「可靠性差距」。作為 Creati.ai 的專業人員,我們持續追蹤前沿模型的表現,而這項基準測試正是投機潛力與機構金融嚴苛標準交鋒的關鍵轉折點。
該研究邀請了 500 名資深投資銀行專業人士,任務是根據典型的工作流程需求(包括簡報投影片、財務分析報告和市場研究摘要)來評估 AI 生成的產出。評估標準十分嚴格,重點在於準確性、語氣、專業格式以及最重要的「客戶交付就緒度」。
| 特性 | 銀行家評估 | AI 性能狀態 |
|---|---|---|
| 資料準確性 | 幻覺風險高 | 需要人工監督 |
| 專業語氣 | 常過於籠統或偏離品牌風格 | 需要手動潤飾 |
| 格式完整性 | 複雜表格中不一致 | 常見排版錯誤 |
| 戰略見解 | 表面觀察 | 缺乏深度的領域背景 |
測試結果是一致的。在數百份提交的產出中,沒有任何一份在未經大幅人工干預的情況下被認定為「可交付給客戶」。研究結果顯示,雖然這些模型可以模擬專業產出的「外觀」,但它們缺乏在投資銀行這種敏感且受到高度監管的領域中所必需的細緻判斷力。
儘管在產出可直接交付的文檔方面並不理想,但調查揭示了關於 AI 效用的更深層觀點。約 50% 的參與者承認,AI 的產出提供了一個有價值的「起點」。這突顯了當前 AI 工具的價值不在於取代,而在於加速。
關於 AI 效用的核心發現:
在 Creati.ai,我們認為金融業廣泛採用大型語言模型的主要障礙在於誤差容許度。在投資銀行業務中,任何一個數據誤報、財務指標歸因錯誤或語氣不當,都可能對客戶關係和監管合規造成災難性的後果。
最近的研究強調,目前的大型語言模型缺乏「具備領域意識」(domain-aware)的架構。與受過培訓的分析師不同,這些模型無法直觀地理解財務數據的層級優先順序。當 AI 生成報告時,它將所有標記(token)視為具有相同的統計機率,而人類分析師卻知道 2024 年的 EBITDA 預測比歷史產業背景重要得多。
目前的 基準測試 是炒作週期與實踐應用之間的橋樑。雖然我們看到了漸進式的改進——通常在討論諸如未來模型等先進迭代的背景下——但核心問題仍然是數據來源和模型推理能力。
要實現真正的「客戶交付就緒」,必須發展以下能力:
來自 500 名投資銀行家的一致看法十分明確:金融業的 AI 革命不會是一夜之間取代人員,而是工作流程的長期演變。「零客戶就緒產出」這一統計數據並非人工智慧技術的失敗,而是金融業極端嚴苛要求的證明。
對於現代投資公司而言,策略必須是「受管理的整合」——利用 AI 處理繁重的綜合整理工作,同時保持嚴格的人工編輯控制權。隨著我們持續監測 AI 可靠性 的演變,Creati.ai 堅持認為,在市場中,人類因素始終是真理的最終審核者。
前進的道路由透明度定義。技術開發者必須誠實面對大型語言模型的成功之處(作為生產力助手)以及失敗之處(作為高風險金融文檔的獨立創作者)。目前,試算表和分析師的大腦仍然是華爾街最可靠的工具。