某種程度上來看，數據分析或許是大模型與終端應用最近的場景之一。這篇文章里，作者就分析了一款產品，這款產品是一款基于開源模型、可以讓用戶使用自然語言進行數據分析的LLM工具。一起來看看作者的分析和拆解。

隨著越來越多的行業和企業完成了數字化改造，數據的不斷積累使得數據分析工作變得越來越復雜，對數據的理解和分析技術的門檻使得數據分析無法開放給更多人。大語言模型使得自然語言生成 SQL 語句（Text2SQL）成為可能。

然而，即使是 GTP-4 這樣的超大模型，其準確率也只有 80% 左右，缺少結構化的邏輯推理。目前 Text2SQL 最好的模型來自 Defog 公司最新推出的 34B 模型，在 sql-eval 基準上性能已經超過 GPT4-turbo 和 GPT4 。當針對某一企業數據庫進行微調以后，準確率可以達到 99% 以上。2023 年 11 月 22 日，Defog 宣布完成了 220 萬美金的種子輪融資， ScriptCapital 和 YC 聯合領投。

思考：

我們嘗試基于文章內容，提出更多發散性的推演和深思，歡迎交流。

數據分析是大模型與終端應用最近的場景之一，但由于企業將自己的數據交給大模型公司風險較高，大模型的能力在該領域當中并沒有被很好的發揮出來。Defog 的本地部署方案給企業提供了一個更優的選擇。

企業級 Agent ：核心是基于收集的數據，形成對業務的理解。從解決被提出的問題，擴展到發現潛在的問題，并提出解決方案。

企業的數據是一塊待被開發的價值洼地，也是打開企業級人工智能的鑰匙，包括對大量非結構化數據進行收集處理，和基于自然語言進行數據分析。

AI Native 產品分析——Defog

1. 產品：Defog

2. 產品上線時間：2023 年 8 月

3. 創始人：

– Rishabh Srivastava：畢業于新加坡國立大學，曾創立數據服務公司 Loki.ai 并實現十萬美元級營收。

– Medha Basu：畢業于新加坡國立大學，先后做過記者、編輯、內容營銷等工作。

4. 產品簡介：

– 一款基于開源模型，可以讓用戶使用自然語言進行數據分析的LLM工具。

5.融資歷史：

– 2023年11月，獲得由 ScriptCapital 和 YC 聯合領投的種子輪融資 220 萬美元。

6. 發展歷史

– 2023 年 1 月，Defog 被 YC W23 批次選中，并將公司定位在用自然語言處理數據方向上；

– 2023 年 6 月，經過為期幾個月的內測，正式推出面向公眾的免費&進階收費版本，同時面向企業推出可在本地部署的fine-tune版本；

– 2023 年 8 – 10 月，先后開源 15B 和 7B 參數版本，目前在自然語言到 SQL 方面 優于 GTP4 。

一、產品介紹

Defog 旨在幫助企業使用 AI 更快地進行數據分析工作，其開發的基于開源的大語言模型可以進行本地化部署并進行微調，且在數據分析方面性能明顯優于 GTP-4 等通用模型，包括在文本到 SQL 語句的轉換等方面。

Defog 的核心功能由公司研發的開源大語言模型 SQLCoder 提供支持，SQLCoder 是一種目前世界上最好的將自然語言問題轉換成 SQL 查詢的模型。在發布以來短短的三個月內，SQLCoder 在 HuggingFace 上的下載量已經超過了 5 萬次，在 Github 上被星標了 1800 次。

使用 Defog ，一個普通的員工可以用簡單的自然語言提出一些需要進行復雜分析的問題，并可以在幾分鐘內收獲答案，而不是通常數據分析所需要的幾小時甚至是幾天。

二、GPT 做數據分析難在哪？

自然語言完成數據處理的復雜性遠超大家想象。即使是 GTP4 這樣的超大模型，其準確率也只有 80% 左右，這主要有以下 5 種原因：

1）相較于龐大的自然語言數據庫，大語言模型還是沒見過很多 SQL 代碼；即使是同樣語義的一句 SQL 語言，還存在不同系統的兼容性問題。

2）雖然用戶可以給 LLM 提供一些示例，但內容長度限制會影響輸入；

3）自然語言到 SQL 最難得部分實際上是理解，這也是 GTP4 性能優于 Llama2 等模型的原因之一；

4）僅提供給大模型數據結構不完全夠，需要增加自定義的數據描述。比如提問“有多少店鋪被關閉了？”，數據表有一個”狀態列“，但需要告訴 LLM 狀態為 3 代表關閉。

5）跨語言數據庫問題。比如在 Google BigQuery 上運行良好的 SQL 代碼可能無法在 Trino/Presto/AWS Athena 上運行，也可能無法在 PostgreSQL 上運行。

Defog 公司最新的 34B 模型 defog-sqlcoder-34b 在 sql-eval 基準上對于超出訓練集部分的性能已經擊敗了 GPT4-turbo 和 GPT4 。當針對某一企業數據庫進行微調以后，準確率可以達到 99% 以上。

大型公司的數據科學家和業務負責人們每個月都要花費超過 1000 個小時來進行數據分析從而做出決策。而現在，一些醫療健康、金融和專業數據分析公司使用了 Defog 的產品，從而大大提升了數據分析效率。一家美股上市公司通過將 Defog 部署到一個 100 人的部門，從而分析時間減少了 80% ，據估計該公司的數據科學團隊每個月將會因此節約 2500 個小時。

三、愿景：做每一個人的數據分析專家

Defog 的公司愿景就是幫助企業為每位員工提供一名 AI 數據分析師，并同時可以有效的控制這些 AI 。

值得注意的是，Defog 宣布即將推出下一代產品：AI Agent ，這項最新的產品可以回答用戶更為復雜的“為什么”類問題。該 Agent 可以理解用戶的意圖，進行合理的猜測，進而編寫代碼提取正確的數據進行分析，并以表格、圖表或者報告的形式返回給用戶。因此，此前需要耗費數月的復雜分析，目前只需要 2-3 天即可完成。

四、商業化之路探討

開源軟件公司在海外有著多種變現路徑：

大數據公司 Databricks 雖然其核心代碼 Spark 開源，但其商業 SaaS 云服務背后的大量功能和性能代碼是閉源的，使得其功能和性能是遠超開源版本，從而獲取付費訂閱。

數據管理服務商 Cloudera 則是直接將代碼打包成軟件售賣，后來整合成云服務整體售賣。

而大量開源 CAD 、游戲引擎公司則是通過插件/素材庫的付費使用來獲取收益。

還有一些公司將開源軟件與硬件綁定整合銷售，或是在某些領域內為用戶提供一鍵式的托管服務。

Defog 剛剛完成 MVP 的驗證，未來還有很長的商業化之路要走。本地化部署 AI 存在的大量細分紅海場景，也為 Defog 提供了一個無限可能的舞臺。

參考材料：

http://github.com/defog-ai/sqlcoder https://defog.ai/sqlcoder-demo/