當前，企業普遍認同智能化是構建其核心競爭力的重要支柱。AI技術未來將深刻融入企業業務的方方面面，為營銷、研發、生產、服務等環節都帶來革命性的效率提升和用戶體驗優化，以及商業模式上的創新。那些能夠將智能化融入企業基因，擁抱智能化的企業，將在未來的競爭中搶得先機，引領行業發展。

企業AI建設工作開展的前提

智能化轉型不能成為一句空談，必須切實轉化為行動，通過高層共識、愿景定義、戰略對齊，三個方面的動作，實現將AI納入到企業的智能化轉型戰略。

第一，高層領導要達成共識，明確AI的戰略意義，是智能化成功的基礎。只有建立了這種共識，才能幫助團隊理解AI將如何支持企業的業務增長、運營優化和業務創新，從而在資源分配和項目推進中獲得支持。通過在高層戰略會議中討論，應明確把AI建設納入到企業戰略級項目中，并且給予更高的優先級。

第二，企業一把手的推進至關重要，一把手要牽頭，各個業務負責人參與，設定長期目標和關鍵業務領域的AI應用，這樣才能有助于為企業的AI戰略提供更加清晰的方向。

第三，AI落地絕非一個部門所能獨立完成的，它需要多個部門協同推進，要確保AI建設與企業整體戰略保持一致，同時需要設定相關績效指標并跟蹤進展。

企業AI建設的路線圖

這張圖展示了企業AI建設的整體路線圖，通過8個關鍵步驟，幫助企業實現AI項目的全面落地與持續運營。

確定目標

明確的目標是項目成功的基礎。設定目標有助于指導后續的所有工作，并確保團隊在同一方向上努力。目標應與企業的戰略緊密相連，確保AI的建設為實現整體戰略目標服務。企業在建設AI時，經營目標、運營目標和部署目標相互依存，形成了一個完整的目標體系。經營目標提供了方向，運營目標確保了效率，部署目標實現了技術落地。企業應當在制定和實施AI建設計劃時，充分考慮這三者之間的關系，以實現技術與業務的深度融合，從而推動企業的持續發展和競爭力提升。

企業在部署大模型時需要清晰地識別其適用場景與局限，不能一刀切，而應制定合理和差異化的目標。過高的期望目標，可能會導致整個過程受挫。因此，了解何時適合采用AI、何時應避免使用AI，以及針對特定場景選擇何種AI技術至關重要。在此，我們主要聚焦大語言模型的建設。

大語言模型，主要是做語言理解和生成的，但是對于一些傳統AI已經展現出出色表現的場景，大模型其實并不具備明顯的優勢。例如，在一些應用CV/OCR等技術的場景，已經有非常成熟的技術和產品，是沒有必要應用生成式AI去重構的。同樣，在一些高度定制化的場景中，生成式AI也并不適用，如下述高度定制化服務場景所示。

在中間這幾類，都是生成式AI的典型應用領域，例如，內容生產、個性化服務、寫代碼等，在很多場合效果已經非常好，可以替代大量人力工作。而在一些場合，如流程自動化、數據分析方面，可以對原有系統提供更好的補充和輔助作用。

評估現狀

在明確了目標之后，我們需要了解企業自身所處的階段，發現薄弱環節，并為下一步的建設方向提供指導。我們主要從4個方面來評估企業的現狀。

首先是戰略與場景，要確保已經在企業內部達成了目標的對齊，這個也是我們一開始所強調，需要重視的；在場景上，企業需要優先選擇符合戰略目標，并且具備可行性的場景進行實施。

第二，要評估的是企業的數據就緒度。AI項目的成功，一定是數據驅動的。高質量的數據是AI模型項目的基礎，這對于傳統AI還是生成式AI都是一樣。但是生成式AI更重要的一點就是，數據的規模和多樣性。我們所熟知的GPT系列的模型能力強，一方面原因是算法創新，像自注意力、強化學習等，更重要的一點是數據質量高，場景覆蓋廣。另外，企業想要長久保持AI模型的高質量服務，還需要不斷采集數據、反饋數據，對模型進行迭代更新。

第三，AI項目的落地實施，離不開團隊，需要具備理解業務并轉化為項目的核心架構，以及一些工程化的角色，如數據標注、清洗、模型訓練和調參、工程優化等角色。

第四，資源就緒度，指的是AI算力，包括計算存儲、網絡等，以及為了實施項目所需要的一些基礎框架、開發工具等，目的是提供對AI全生命周期的支撐。

選擇場景

接下來我們要面對的是如何選擇企業的AI應用場景，我們所面臨的幾乎所有的企業應用場景，歸根結底都是圍繞降本增效、提升體驗和模式創新三個方面來展開的，這也是企業智能化轉型的終極目標。

首先需要從戰略匹配度，看是否符合這三個方面的目標，其次在技術支撐方面，重點考慮是否是生成式AI的應用場景，以及我們通過哪些技術路徑來支持場景落地。另外就是數據和AI基礎設施。數據層面，需要具備精標注數據、反饋數據，以及垂類語料（無標注數據）條件；算力方面提供AI計算支撐；基礎大模型方面，這個是企業應用AI的最基礎條件，企業需要考慮大模型的開源/閉源路線。目前開源生態比較強大，進步也很快，是一種更高性價比的選擇。

初步評估可行性

選定了場景之后，我們需要對某個特定場景有個初步可行性判斷，這個判斷需要結合業務、技術和工程角色，共同參與評估。

業務如何判斷呢？業務方就是實際的使用部門，比如業務方是合同審核部門，場景是審核合同里邊的關鍵內容是否缺失（乙方名稱、付款條件、付款方式等）。那么輸入就是一段合同文本，輸出就是幾個關鍵字段和它的值；目標就是提取這些信息，并且內容沒有丟失。只有這些還不夠，業務部門可以嘗試直接調用一些大模型（在確保數據安全前提下），看看效果怎么樣，這是沒有任何技術和工程參與優化的結果。這個工作業務團隊的是完全可以勝任的，如果讓技術部門來判斷，可能會存在業務知識的缺少，無法準確判斷業務場景的可行性。

從技術部門角度，重點是關注基礎模型本身的能力，也就是大模型在預訓練階段已經基本定型的，主要包括它在預訓練階段用的知識、采用了哪些語言、有沒有用一些帶有邏輯推理的語料。這些我們做了判斷之后，也可能沒有找到一些能夠激發它本身知識的好方法，這里就需要用一些專業性強的問題去測試，看看他能不能突破這個上限。

第三，就是工程角度，門檻最低的就是Prompt（提示詞）優化，這是一個非常實用并且簡單的工程優化方法，我們還可以結合few shot（示例），以及思維鏈等方式，來激發大模型本身的能力。如果是企業內部限定的文檔，要去用RAG（檢索增強）生成這種方式。如果是因為大模型對指令的遵循能力差等問題，則需要考慮用SFT（supervised fine tuning）微調。如果嘗試了以上方式都不行，需要再看下，我們要解決的是不是術語專業領域的問題，那可能需要準備大量的專業領域語料，去做二次預訓練。這種方式不推薦，它所消耗的資源，對團隊的要求都是極高的。他們的具體差別對比如下：

準備所需資源

在確定初步可行之后，即可開始準備大模型落地所需要的資源。主要從4個方面準備：與建設場景相匹配的數據、算力、開發工具和團隊。

1.準備數據

根據選擇場景的不同，需要準備的數據也會有很大不同：

• RAG場景下，主要的數據準備工作包括：

文檔預處理（如文檔格式轉換等）、文檔解析（PDF識別，版式識別）、OCR（圖像轉文字）、文檔切分（切分為小的片段）、數據增強（提取QA、生成摘要）。

• 大模型微調場景，主要的數據準備工作包括：

精標注QA數據（問答對形式）、準備指令數據（如人設遵循、輸出格式要求等）。需要確保數據準確性（例如做過濾低質量，去掉重復數據等）、數據多樣性（要能夠覆蓋各種真實應用場景）、數據一致性（數據不沖突）、數據增強（生成QA、摘要）等。

• 二次預訓練場景，主要的數據準備工作包括：

專業領域的語料（如金融、醫療、法律專業術語，在這些領域使用語境等）。需要確保數據多樣性（如覆蓋場景種類要足夠多）、數據規模要足夠大（一般要達到數十億級token以上）、一定的配比數據（增加通用領域數據一起做二次預訓練，如1:1配置）、數據處理（去除重復數據、去除低質量數據、去除隱私數據、去除不合規數據等）。

2.準備算力

在企業的大模型建設中，算力的多少決定了訓練速度、效率和模型表現，是推動模型快速高效落地的關鍵資源。那么企業要準備多大的算力才能滿足實際應用需求呢？這里有一些經驗，可以用于快速進行算力數量估算（此處僅考慮GPU算力）。

對于訓練場景，全參微調所需的總顯存一般為模型參數量（以B-十億為單位）的20倍，例如70億（7B）參數大模型，至少需要140G顯存，按照單卡80G顯存，則對應的GPU卡至少需要2張。而130億（13B）參數大模型，至少需要260G顯存，按照單卡80G顯存，則對應的GPU卡至少需要4張。

另外，企業也要在算力投入和訓練時間上進行權衡，訓練時間可參照如下公式進行估算：

以Qwen2-72B為例，在24張80GB顯存的A100上，在3B tokens的數據上訓練72B參數量的Qwen2。80GB顯存A100的峰值性能為312 TFLOPS，設GPU利用率為0.45，則所需要的訓練時間為5.9天。

而在推理場景，總顯存計算公式為：

其中n_layer為解碼器/注意力層數，n_heads為每個注意力層的注意力頭數，d_head為注意力層的隱藏維度，p_a為精度，batch_size為批處理大小，max_length為模型最大序列長度，KV Cache為模型推理過程中的KV緩存。

以常見的參數量模型為例，計算推理所需要的算力資源。

以  Yi1.5-34B 為例，n_layer（解碼器/注意力層數）為60，n_heads（每層注意力頭數）為56，d_head（注意力層隱藏維度）為128，p_a（精度）為2，batch_size（批處理大?。?，max_length（模型最大序列長度）為4096。

模型參數量需要的顯存為68GB（34*2=68GB），另外需要預留模型推理過程中的KV緩存，約為7GB（2*1*4096*60*56*128*2)*1024-3=7GB）?？偣残枰娘@存至少需要75GB。

3.準備工具

這里分為三個方面：

首先是基礎大模型的選擇，這個往往決定了企業應用效果的基線。例如目前效果比較好的開源大模型 Qwen系、Llama系，由于開源大模型的能力越來越強，性價比更高，這些都可以作為企業的首要選擇。除此之外，還需要考慮模型與任務的匹配度、參數規模和預訓練數據量、算力資源、語言支持等方面。

其次，企業是為了解決特定場景下的應用目標問題，則需要AI應用開發，例如開發一個RAG應用、Agent智能體應用等。首先要評估的還是這個應用開發工具對場景效果的支撐。開發工具必須能夠針對企業的具體業務場景（如流程自動化、知識檢索、智能推薦等）提供符合業務預期效果的模型輸出，保證大模型在實際應用中的可落地性；要能夠支撐企業用戶從概念到快速構建應用、應用效果提升的操作自閉環，讓企業能夠自主進行效果評估、自助優化，從而可以不過度依賴大量昂貴的外部人力調優服務；工具的使用門檻應低，既能夠讓專業的AI工程師快速上手，也允許業務人員參與配置和使用。理想的工具應該有良好的用戶界面、代碼示例、API文檔等支持，以減少開發復雜度和時間。

第三，在模型微調和部署工具選擇上，基于長遠考慮，關注對資源的利用率和整體的性價比，其次是工具的完整性、兼容性、易用性、可靠性、以及安全性。例如，在性價比方面，在相同的基礎大模型條件下，平臺對于算力資源消耗和模型服務性能，能否做到更好的提升；在用戶使用時，學習門檻是否足夠低，操作是否足夠簡便，過程是否自動化等。

4.搭建團隊

大模型項目團隊與傳統應用系統團隊在技能、角色和需求上有顯著的差異。

大模型項目更依賴于數據驅動的效果調優、模型微調和二次預訓練等技術，而傳統系統更關注業務流程的實現與系統的長期穩定性。企業在推動大模型項目落地時，應根據首先落地的場景，來做差異化的團隊配置。例如，企業初期只選擇了內部流程自動化場景，只需要做prompt優化和系統對接就可以，所以在AI團隊上重點配置的就是提示詞優化工程師、工程開發工程師；而在RAG應用場景，就需要文檔數據預處理、檢索優化等工程師。

分階段實施

推薦企業分階段實施，避免一開始目標過大過難，從而造成建設過程受挫。

階段一：場景為王&運營提效

場景為王，指的是選擇最簡單、最容易做出效果的場景去建設。這個也是符合絕大多數企業的現狀，比如，優先選擇企業內部的知識問答、流程自動化、代碼輔助編寫等。投入小、見效快。在這個階段做出了成果，就能進一步擴大，小步快跑。

例如，將傳統表單流程改造為自然語言交互的的智能化流程，主要利用Prompt優化技術。

也可以選擇基于RAG的企業知識問答機器人，整合企業內部文檔，提高知識檢索的效率和檢索效果。

這兩類場景，都能夠快速進行落地，并且進行效果調優之后上線，迅速在企業內部推廣使用。在上線后，需要同步進行運營提效工作，持續收集場景反饋數據，對落地場景效果持續優化，真正在初始落地階段產生明顯價值。

階段二：場景擴展

基于第一階段的成功，企業要深入到核心業務場景去，解決一些復雜的場景問題，發揮AI的價值。從輔助性角色，變成核心角色，例如企業的銷售機器人、個性化服務機器人、運維機器人等。這個階段的特點就是復雜度會更高，往往不是單靠大模型能完成的，往往需要借助小模型、智能體等來協作完成。

階段三：持續優化

為什么要做這個事情呢？因為不管是什么樣的AI模型，只要部署了以后，它的固有知識就相對不會變化。而業務場景不是一成不變的，如果不持續優化模型，它的效果一定會持續衰減。另外，企業落地的場景越來越多，并發量越來越大，它所消耗的資源也成倍增加，如果我們不對它的底層資源進行優化，那對企業來說將是一筆非常大的成本支出。

綜上，在效果方面，我們通過不斷采集、反饋、優化，形成數據閉環，來持續對場景做提效。構建數據反饋閉環是確保企業大模型適應業務變化的基礎，優化后的模型重新部署到業務場景中，繼續收集新的數據，形成持續反饋的閉環。這不僅讓模型適應業務的變化，還能不斷提高其在核心場景中的應用效果。

根據實際的不同，可能需要選擇進行SFT或者二次預訓練的方式，提升模型的能力。二者的區別在于，SFT微調更注重任務和場景的定制化表現，而二次預訓練更適用于提高模型在特定領域的專業能力。

在資源利用方面，企業可以選擇通過模型壓縮、國產算力替代等方式，實現資源的優化配置。

階段四：賦能核心業務

這是AI落地的終極目標，AI大量融入到關鍵業務鏈條中，深入到企業核心業務，比如制造企業的研產供銷服等環節。未來，企業的AI建設不斷深入，將不再是覆蓋單一領域，而是會覆蓋到企業的全部鏈條，例如以上這些。在每一個環節，都可以發揮AI的作用。有了前三個階段的經驗積累，在這個階段一定會走得更穩、更深入。例如，在研發板塊，可以充分利用大模型的理解以及調用外部工具、生成代碼的能力，輔助進行產品工藝設計和參數選擇；在生產板塊，可以通過語音自然語言交互，對機器人進行操作；在銷售板塊，大模型結合數字人，能夠為用戶提供更好的體驗和服務響應；在設備運維方面，能夠及時給出設備故障的維修方案；在運營方面，通過大模型提供個性化的數據分析和運營報告。

評估

企業對大模型項目建設評估不僅僅是對一次項目執行結果的評估，更是對階段性工作的評估，包括但不僅限于項目業務價值、用戶體驗、成本效益、模型性能與合規性、安全性等多個維度的綜合評估。通過建立持續的監控與反饋機制，優化運營成本，分析模型的擴展潛力，并結合未來發展戰略，企業能夠在評估階段進一步確保大模型項目的成功和長期價值。

持續運營

只有堅持長期在數據和場景方面的運營深耕，才有助于構建企業的持續競爭優勢。在持續運營，重點關注數據飛輪持續化和場景運營精細化。

數據飛輪持續化：

• 整合多源數據（銷售、客服、供應鏈……），統一數據質量標準，設置專門的數據治理團隊；
• 設置模型效果評估標準（基于標準測試集和基于業務反饋結果）；
• 收集線上/線下反饋數據；
• 關鍵指標監控（性能指標、業務指標，如轉化率、復購率）；
• 明確實施微調優化的準入標準；
• 通過持續的數據積累、數據反饋閉環，推動模型的不斷優化和迭代。

場景運營精細化:

• 一把手牽頭，發動各個業務部門梳理業務場景，細化到最小粒度場景；
• 對全量場景做價值度評估，排優先級；
• 建立業務部門和AI團隊的場景對接機制，明確場景提出-評估-立項/關閉-建設-評估-運營的整個閉環；
• 建立效果評估機制，對用戶反饋做閉環跟蹤；
• 挖掘新場景，鼓勵內部做業務場景與AI結合的創新。

以上就是一個完整的企業落地AI的路徑方法論，不同AI能力基礎的企業可以選擇不同的建設起點開始啟動。

下期預告：在企業實施AI落地的整個過程中，有哪些誤區需要提前了解，從而避免“掉坑”呢？我們在下一期詳細說一說，企業在AI建設過程匯總的八大誤區。