本指南提供了一套全面的最佳實(shí)踐，可幫助您從原型過(guò)渡到生產(chǎn)。無(wú)論您是經(jīng)驗(yàn)豐富的機(jī)器學(xué)習(xí)工程師還是新近的愛(ài)好者，本指南都將為您提供成功將平臺(tái)投入生產(chǎn)環(huán)境所需的工具：從保護(hù)對(duì)我們 API 的訪問(wèn)到設(shè)計(jì)能夠處理高交通量。使用本指南來(lái)幫助制定盡可能順利有效地部署應(yīng)用程序的計(jì)劃。

設(shè)置您的組織

登錄到您的 OpenAI 帳戶后，您可以在您的組織設(shè)置中找到您的組織名稱和 ID。組織名稱是您的組織的標(biāo)簽，顯示在用戶界面中。組織 ID 是您組織的唯一標(biāo)識(shí)符，可用于 API 請(qǐng)求。

屬于多個(gè)組織的用戶可以通過(guò)標(biāo)頭來(lái)指定哪個(gè)組織用于 API 請(qǐng)求。來(lái)自這些 API 請(qǐng)求的使用將計(jì)入指定組織的配額。如果未提供標(biāo)頭，將按默認(rèn)組織計(jì)費(fèi)。您可以在用戶設(shè)置中更改默認(rèn)組織。

您可以從成員設(shè)置頁(yè)面邀請(qǐng)新成員加入您的組織。成員可以是讀者或所有者。讀者可以進(jìn)行 API 請(qǐng)求和查看基本組織信息，而所有者可以修改帳單信息和管理組織內(nèi)的成員。

管理計(jì)費(fèi)限額

新的免費(fèi)試用用戶將獲得 5 美元的初始信用額度，該信用額度將在三個(gè)月后到期。信用額度用完或過(guò)期后，您可以選擇輸入賬單信息以繼續(xù)使用 API。如果未輸入賬單信息，您仍然可以登錄，但無(wú)法再發(fā)出任何 API 請(qǐng)求。

輸入賬單信息后，您將獲得每月 120 美元的批準(zhǔn)使用限額，這是由 OpenAI 設(shè)定的。要將您的配額增加到超過(guò) 120 美元的每月賬單限額，請(qǐng)?zhí)峤辉黾优漕~的請(qǐng)求。

如果您希望在使用量超過(guò)一定數(shù)量時(shí)收到通知，您可以通過(guò)使用限制頁(yè)面設(shè)置軟限制。當(dāng)達(dá)到軟限制時(shí)，組織的所有者將收到一封電子郵件通知。您還可以設(shè)置硬限制，一旦達(dá)到硬限制，任何后續(xù) API 請(qǐng)求都將被拒絕。請(qǐng)注意，這些限制是盡力而為的，使用和執(zhí)行限制之間可能會(huì)有 5 到 10 分鐘的延遲。

API 密鑰

OpenAI API 使用 API 密鑰進(jìn)行身份驗(yàn)證。訪問(wèn)您的 API 密鑰頁(yè)面以檢索您將在請(qǐng)求中使用的 API 密鑰。

這是控制訪問(wèn)的一種相對(duì)直接的方法，但您必須警惕保護(hù)這些密鑰。避免在您的代碼或公共存儲(chǔ)庫(kù)中公開 API 密鑰；相反，將它們存儲(chǔ)在安全的位置。您應(yīng)該使用環(huán)境變量或秘密管理服務(wù)將您的密鑰公開給您的應(yīng)用程序，這樣您就不需要在代碼庫(kù)中對(duì)它們進(jìn)行硬編碼。

暫存帳戶

隨著規(guī)模的擴(kuò)大，您可能希望為暫存和生產(chǎn)環(huán)境創(chuàng)建單獨(dú)的組織。請(qǐng)注意，您可以使用兩個(gè)單獨(dú)的電子郵件地址（例如 bob+prod@widgetcorp.com 和 bob+dev@widgetcorp.com）進(jìn)行注冊(cè)，以創(chuàng)建兩個(gè)組織。這將允許您隔離您的開發(fā)和測(cè)試工作，這樣您就不會(huì)意外地中斷您的實(shí)時(shí)應(yīng)用程序。您還可以通過(guò)這種方式限制對(duì)生產(chǎn)組織的訪問(wèn)。

建立你的原型

如果您還沒(méi)有閱讀快速入門指南，我們建議您先從這里開始，然后再深入閱讀本指南的其余部分。

對(duì)于 OpenAI API 的新手，我們的 playground 可以成為探索其功能的重要資源。這樣做將幫助您了解什么是可能的，以及您可能希望將精力集中在哪些方面。您還可以瀏覽我們的示例提示。

雖然 playground 是制作原型的好地方，但它也可以用作大型項(xiàng)目的孵化區(qū)。 playground 還可以輕松導(dǎo)出 API 請(qǐng)求的代碼片段并與協(xié)作者共享提示，使其成為開發(fā)過(guò)程中不可或缺的一部分。

附加提示

1. 首先確定您希望應(yīng)用程序具有的核心功能?？紤]您將需要的數(shù)據(jù)輸入、輸出和處理的類型。旨在使原型盡可能集中，以便您可以快速高效地進(jìn)行迭代。

2. 選擇您感覺(jué)最舒服并且最符合您的項(xiàng)目目標(biāo)的編程語(yǔ)言和框架。一些流行的選項(xiàng)包括 Python、Java 和 Node.js。請(qǐng)參閱庫(kù)支持頁(yè)面以了解有關(guān)由我們的團(tuán)隊(duì)和更廣泛的開發(fā)人員社區(qū)維護(hù)的庫(kù)綁定的更多信息。

3. 開發(fā)環(huán)境和支持：使用正確的工具和庫(kù)設(shè)置您的開發(fā)環(huán)境，并確保您擁有訓(xùn)練模型所需的資源。利用我們的文檔、社區(qū)論壇和我們的幫助中心獲得故障排除方面的幫助。如果您正在使用 Python 進(jìn)行開發(fā)，請(qǐng)查看此構(gòu)建項(xiàng)目指南（存儲(chǔ)庫(kù)結(jié)構(gòu)是項(xiàng)目架構(gòu)的重要組成部分）。為了與我們的支持工程師聯(lián)系，只需登錄您的帳戶并使用“幫助”按鈕開始對(duì)話。

提高提示可靠性的技術(shù)

即使進(jìn)行了周密的計(jì)劃，在您的應(yīng)用程序中使用 GPT-3 時(shí)為意外問(wèn)題做好準(zhǔn)備也很重要。在某些情況下，模型可能會(huì)在任務(wù)上失敗，因此考慮可以采取哪些措施來(lái)提高應(yīng)用程序的可靠性會(huì)很有幫助。

如果您的任務(wù)涉及邏輯推理或復(fù)雜性，您可能需要采取額外的步驟來(lái)構(gòu)建更可靠的提示?？傮w而言，建議圍繞：

• 將不可靠的操作分解為更小、更可靠的操作（例如，選擇推理提示）
• 使用多個(gè)步驟或多個(gè)關(guān)系使系統(tǒng)的可靠性高于任何單個(gè)組件（例如，美化提示）

評(píng)估和迭代

開發(fā)生產(chǎn)系統(tǒng)最重要的方面之一是定期評(píng)估和迭代試驗(yàn)。此過(guò)程允許您衡量性能、解決問(wèn)題并微調(diào)您的模型以提高準(zhǔn)確性和效率。此過(guò)程的一個(gè)關(guān)鍵部分是為您的功能創(chuàng)建評(píng)估數(shù)據(jù)集。請(qǐng)記住以下幾點(diǎn)：

1. 確保您的評(píng)估集代表您的模型將在現(xiàn)實(shí)世界中使用的數(shù)據(jù)。這將允許您評(píng)估您的模型在它以前從未見(jiàn)過(guò)的數(shù)據(jù)上的性能，并幫助您了解它對(duì)新情況的泛化能力。

2. 定期更新您的評(píng)估集，以確保它在您的模型發(fā)展和新數(shù)據(jù)可用時(shí)保持相關(guān)性。

3. 使用各種指標(biāo)來(lái)評(píng)估模型的性能。根據(jù)您的應(yīng)用程序和業(yè)務(wù)成果，這可能包括準(zhǔn)確度、精確度、召回率、F1 分?jǐn)?shù)或平均精確度 (MAP)。此外，您可以將微調(diào)與權(quán)重和偏差同步以跟蹤實(shí)驗(yàn)、模型和數(shù)據(jù)集。

4. 將模型的性能與基線進(jìn)行比較。這將使您更好地了解模型的優(yōu)勢(shì)和劣勢(shì)，并有助于指導(dǎo)您未來(lái)的開發(fā)工作。

通過(guò)進(jìn)行定期評(píng)估和迭代實(shí)驗(yàn)，您可以確保您的 GPT 驅(qū)動(dòng)的應(yīng)用程序或原型隨著時(shí)間的推移不斷改進(jìn)。

評(píng)估語(yǔ)言模型

語(yǔ)言模型可能很難評(píng)估，因?yàn)樵u(píng)估生成語(yǔ)言的質(zhì)量通常是主觀的，并且有許多不同的方法可以用語(yǔ)言正確傳達(dá)相同的信息。例如，在評(píng)估一個(gè)模型對(duì)一大段文本的總結(jié)能力時(shí)，有很多正確的總結(jié)。話雖如此，設(shè)計(jì)良好的評(píng)估對(duì)于機(jī)器學(xué)習(xí)取得進(jìn)展至關(guān)重要。

評(píng)估套件需要全面、易于運(yùn)行且速度相當(dāng)快（取決于模型大?。?。它還需要易于繼續(xù)添加到套件中，因?yàn)橐粋€(gè)月的綜合性內(nèi)容可能在另一個(gè)月就已經(jīng)過(guò)時(shí)了。我們應(yīng)該優(yōu)先考慮具有多樣性的任務(wù)和任務(wù)，這些任務(wù)可以識(shí)別模型中的弱點(diǎn)或沒(méi)有隨著擴(kuò)展而改進(jìn)的能力。

評(píng)估系統(tǒng)的最簡(jiǎn)單方法是手動(dòng)檢查其輸出。它在做你想做的事嗎？輸出質(zhì)量高嗎？他們一致嗎？

自動(dòng)評(píng)估

加快測(cè)試速度的最佳方法是開發(fā)自動(dòng)化評(píng)估。但是，這在摘要任務(wù)等更主觀的應(yīng)用程序中可能是不可能的。

當(dāng)很容易將最終輸出定為正確或不正確時(shí)，自動(dòng)評(píng)估效果最佳。例如，如果您正在微調(diào)分類器以將文本字符串分類為 A 類或 B 類，這非常簡(jiǎn)單：創(chuàng)建一個(gè)包含示例輸入和輸出對(duì)的測(cè)試集，在輸入上運(yùn)行您的系統(tǒng)，然后對(duì)系統(tǒng)進(jìn)行評(píng)分輸出與正確輸出（查看準(zhǔn)確度、F1 分?jǐn)?shù)、交叉熵等指標(biāo)）。

如果您的輸出是半開放式的，就像會(huì)議記錄總結(jié)器那樣，那么定義成功可能會(huì)比較棘手：例如，是什么讓一個(gè)總結(jié)比另一個(gè)更好？這里，可能的技術(shù)包括：

• 使用“黃金標(biāo)準(zhǔn)”答案編寫測(cè)試，然后測(cè)量每個(gè)黃金標(biāo)準(zhǔn)答案與系統(tǒng)輸出之間的某種相似性分?jǐn)?shù)（我們已經(jīng)看到嵌入為此工作得很好）

• 建立一個(gè)判別器系統(tǒng)來(lái)判斷/排序輸出，然后給判別器一組輸出，其中一個(gè)由被測(cè)系統(tǒng)生成（這甚至可以是 GPT 模型，詢問(wèn)給定輸出是否正確回答了問(wèn)題）

• 建立一個(gè)評(píng)估模型，檢查答案組成部分的真實(shí)性；例如，檢測(cè)引號(hào)是否實(shí)際出現(xiàn)在給定文本中

對(duì)于非常開放的任務(wù)，例如創(chuàng)意故事作家，自動(dòng)化評(píng)估更加困難。盡管可以制定質(zhì)量指標(biāo)來(lái)查看拼寫錯(cuò)誤、單詞多樣性和可讀性分?jǐn)?shù)，但這些指標(biāo)并不能真正體現(xiàn)一篇文章的創(chuàng)造性質(zhì)量。在找不到好的自動(dòng)化指標(biāo)的情況下，人工評(píng)估仍然是最好的方法。

評(píng)估基于 GPT-3 的系統(tǒng)的示例程序

作為一個(gè)例子，讓我們考慮構(gòu)建一個(gè)基于檢索的問(wèn)答系統(tǒng)的情況。

基于檢索的問(wèn)答系統(tǒng)有兩個(gè)步驟。首先，用戶的查詢用于對(duì)知識(shí)庫(kù)中可能相關(guān)的文檔進(jìn)行排名。其次，GPT-3 獲得了排名靠前的文檔，并被要求生成查詢的答案。

可以進(jìn)行評(píng)估以衡量每個(gè)步驟的性能。

對(duì)于搜索步驟，可以：

• 首先，生成一個(gè)包含約 100 個(gè)問(wèn)題的測(cè)試集和每個(gè)問(wèn)題的一組正確文檔

• 如果您有任何問(wèn)題，可以從用戶數(shù)據(jù)中獲取問(wèn)題；否則，您可以發(fā)明一組具有不同風(fēng)格和難度的問(wèn)題。

• 對(duì)于每個(gè)問(wèn)題，讓一個(gè)人手動(dòng)搜索知識(shí)庫(kù)并記錄包含答案的文檔集。

• 然后使用測(cè)試集對(duì)系統(tǒng)的性能進(jìn)行評(píng)分

• 對(duì)于每個(gè)問(wèn)題，使用系統(tǒng)對(duì)候選文檔進(jìn)行排名（例如，通過(guò)文檔嵌入與查詢嵌入的余弦相似度）。

• 如果候選文檔至少包含 1 個(gè)來(lái)自答案鍵的相關(guān)文檔，則可以使用二進(jìn)制準(zhǔn)確度分?jǐn)?shù) 1 對(duì)結(jié)果進(jìn)行評(píng)分，否則為 0

• 您還可以使用 Mean Reciprocal Rank 等連續(xù)指標(biāo)，它可以幫助區(qū)分接近正確或遠(yuǎn)離正確的答案（例如，如果正確的文檔排名第 1，則得分為 1，如果排名第 2，則得分為 ? , ? 如果排名 3, 等等)

對(duì)于問(wèn)題回答步驟，可以：

• 首先，生成一個(gè)包含約 100 組{question, relevant text, correct answer} 的測(cè)試集

• 對(duì)于問(wèn)題和相關(guān)文本，使用上面的數(shù)據(jù)

• 對(duì)于正確的答案，讓一個(gè)人寫下大約 100 個(gè)好的答案的例子。

二、使用測(cè)試集對(duì)系統(tǒng)的性能進(jìn)行評(píng)分

• 對(duì)于每個(gè)問(wèn)題和文本對(duì)，將它們組合成一個(gè)提示并將提示提交給 GPT-3

• 接下來(lái)，將 GPT-3 的答案與人類編寫的黃金標(biāo)準(zhǔn)答案進(jìn)行比較

• 這種比較可以是手動(dòng)的，人類將它們并排查看并對(duì) GPT-3 答案是否正確/高質(zhì)量進(jìn)行評(píng)分

• 這種比較也可以通過(guò)使用嵌入相似性分?jǐn)?shù)或其他方法來(lái)自動(dòng)化（自動(dòng)化方法可能會(huì)有噪音，但噪音是可以的，只要它是無(wú)偏見(jiàn)的，并且在你正在相互測(cè)試的不同類型的模型之間同樣有噪音）

當(dāng)然，N=100 只是一個(gè)例子，在早期階段，您可能會(huì)從更容易生成的較小集合開始，而在后期階段，您可能會(huì)投資成本更高但統(tǒng)計(jì)上更可靠的更大集合。

擴(kuò)展您的解決方案架構(gòu)

在設(shè)計(jì)使用我們的 API 用于生產(chǎn)的應(yīng)用程序或服務(wù)時(shí)，重要的是要考慮如何擴(kuò)展以滿足流量需求。無(wú)論您選擇哪種云服務(wù)提供商，您都需要考慮幾個(gè)關(guān)鍵領(lǐng)域：

• Horizontal scaling: 您可能希望橫向擴(kuò)展您的應(yīng)用程序以適應(yīng)來(lái)自多個(gè)來(lái)源的應(yīng)用程序請(qǐng)求。這可能涉及部署額外的服務(wù)器或容器來(lái)分配負(fù)載。如果您選擇這種類型的縮放，請(qǐng)確保您的體系結(jié)構(gòu)設(shè)計(jì)用于處理多個(gè)節(jié)點(diǎn)，并且您有適當(dāng)?shù)臋C(jī)制來(lái)平衡它們之間的負(fù)載。
• Vertical scaling: 另一種選擇是垂直擴(kuò)展您的應(yīng)用程序，這意味著您可以增加單個(gè)節(jié)點(diǎn)可用的資源。這將涉及升級(jí)服務(wù)器的能力以處理額外的負(fù)載。如果您選擇這種類型的擴(kuò)展，請(qǐng)確保您的應(yīng)用程序旨在利用這些額外資源。
• Caching: 通過(guò)存儲(chǔ)經(jīng)常訪問(wèn)的數(shù)據(jù)，您可以縮短響應(yīng)時(shí)間，而無(wú)需重復(fù)調(diào)用我們的 API。您的應(yīng)用程序需要設(shè)計(jì)為盡可能使用緩存數(shù)據(jù)，并在添加新信息時(shí)使緩存無(wú)效。有幾種不同的方法可以做到這一點(diǎn)。例如，您可以將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)、文件系統(tǒng)或內(nèi)存緩存中，具體取決于哪種方式對(duì)您的應(yīng)用程序最有意義。
• Load balancing: 最后，考慮負(fù)載平衡技術(shù)以確保請(qǐng)求在可用服務(wù)器之間均勻分布。這可能涉及在服務(wù)器前面使用負(fù)載平衡器或使用 DNS 循環(huán)。平衡負(fù)載將有助于提高性能并減少瓶頸。

管理速率限制

使用我們的 API 時(shí)，了解和規(guī)劃速率限制非常重要。

改善延遲

延遲是處理請(qǐng)求和返回響應(yīng)所需的時(shí)間。在本節(jié)中，我們將討論影響文本生成模型延遲的一些因素，并提供有關(guān)如何減少延遲的建議。

完成請(qǐng)求的延遲主要受兩個(gè)因素影響：模型和生成的令牌數(shù)量。完成請(qǐng)求的生命周期如下所示：

大部分延遲通常來(lái)自令牌生成步驟。

Intuition: 提示標(biāo)記對(duì)完成調(diào)用的延遲很少。生成完成令牌的時(shí)間要長(zhǎng)得多，因?yàn)橐淮紊梢粋€(gè)令牌。由于每個(gè)令牌所需的生成，較長(zhǎng)的生成長(zhǎng)度將累積延遲。

影響延遲的常見(jiàn)因素和可能的緩解技術(shù)

現(xiàn)在我們已經(jīng)了解了延遲的基礎(chǔ)知識(shí)，讓我們看一下可能影響延遲的各種因素，大致按照從影響最大到影響最小的順序排列。

模型

我們的 API 提供了不同程度的復(fù)雜性和通用性的不同模型。最強(qiáng)大的模型，例如 gpt-4，可以生成更復(fù)雜和多樣化的補(bǔ)全，但它們也需要更長(zhǎng)的時(shí)間來(lái)處理您的查詢。 gpt-3.5-turbo 等模型可以生成更快、更便宜的聊天完成，但它們生成的結(jié)果可能不太準(zhǔn)確或與您的查詢不相關(guān)。您可以選擇最適合您的用例的模型以及速度和質(zhì)量之間的權(quán)衡。

完成令牌的數(shù)量

請(qǐng)求大量生成的令牌完成會(huì)導(dǎo)致延遲增加：

• 較低的最大令牌數(shù)：對(duì)于具有類似令牌生成計(jì)數(shù)的請(qǐng)求，那些具有較低 max_tokens 參數(shù)的請(qǐng)求會(huì)產(chǎn)生較少的延遲。

• 包括停止序列：為防止生成不需要的令牌，請(qǐng)?zhí)砑油Ｖ剐蛄小＠?，您可以使用停止序列生成包含特定?shù)量項(xiàng)目的列表。在這種情況下，通過(guò)使用 11. 作為停止序列，您可以生成一個(gè)只有 10 個(gè)項(xiàng)目的列表，因?yàn)楫?dāng)?shù)竭_(dá) 11. 時(shí)完成將停止。

• 生成更少的補(bǔ)全：盡可能降低 n 和 best_of 的值，其中 n 指的是為每個(gè)提示生成多少補(bǔ)全，best_of 用于表示每個(gè)標(biāo)記具有最高對(duì)數(shù)概率的結(jié)果。

如果 n 和 best_of 都等于 1（這是默認(rèn)值），則生成的令牌數(shù)量最多等于 max_tokens。

如果 n（返回的完成數(shù)）或 best_of（為考慮而生成的完成數(shù)）設(shè)置為 > 1，則每個(gè)請(qǐng)求將創(chuàng)建多個(gè)輸出。在這里，您可以將生成的令牌數(shù)視為 [ max_tokens * max (n, best_of) ]

Streaming

在請(qǐng)求中設(shè)置 stream: true 會(huì)使模型在令牌可用時(shí)立即開始返回令牌，而不是等待生成完整的令牌序列。它不會(huì)改變獲取所有令牌的時(shí)間，但它會(huì)減少我們想要顯示部分進(jìn)度或?qū)⑼Ｖ股傻膽?yīng)用程序的第一個(gè)令牌的時(shí)間。這可能是更好的用戶體驗(yàn)和 UX 改進(jìn)，因此值得嘗試流式傳輸。

基礎(chǔ)設(shè)施

我們的服務(wù)器目前位于美國(guó)。雖然我們希望在未來(lái)實(shí)現(xiàn)全球冗余，但與此同時(shí)，您可以考慮將基礎(chǔ)設(shè)施的相關(guān)部分放在美國(guó)，以最大限度地減少服務(wù)器與 OpenAI 服務(wù)器之間的往返時(shí)間。

批處理

根據(jù)您的用例，批處理可能會(huì)有所幫助。如果您向同一個(gè)端點(diǎn)發(fā)送多個(gè)請(qǐng)求，您可以批處理要在同一個(gè)請(qǐng)求中發(fā)送的提示。這將減少您需要提出的請(qǐng)求數(shù)量。 prompt 參數(shù)最多可以包含 20 個(gè)不同的提示。我們建議您測(cè)試此方法，看看是否有幫助。在某些情況下，您最終可能會(huì)增加生成的令牌數(shù)量，這會(huì)減慢響應(yīng)時(shí)間。

管理成本

要監(jiān)控您的成本，您可以在您的帳戶中設(shè)置一個(gè)軟限制，以便在您超過(guò)某個(gè)使用閾值時(shí)收到一封電子郵件警報(bào)。您還可以設(shè)置硬限制。請(qǐng)注意硬限制可能會(huì)導(dǎo)致您的應(yīng)用程序/用戶中斷。使用用量跟蹤儀表板來(lái)監(jiān)控您在當(dāng)前和過(guò)去的計(jì)費(fèi)周期中的令牌使用情況。

文本生成

將原型投入生產(chǎn)的挑戰(zhàn)之一是對(duì)與運(yùn)行應(yīng)用程序相關(guān)的成本進(jìn)行預(yù)算。 OpenAI 提供現(xiàn)收現(xiàn)付的定價(jià)模式，每 1,000 個(gè)代幣（約等于 750 個(gè)單詞）的價(jià)格。要估算您的成本，您需要預(yù)測(cè)代幣利用率?？紤]諸如流量級(jí)別、用戶與您的應(yīng)用程序交互的頻率以及您將處理的數(shù)據(jù)量等因素。

考慮降低成本的一個(gè)有用框架是將成本視為代幣數(shù)量和每個(gè)代幣成本的函數(shù)。使用此框架可以通過(guò)兩種潛在途徑降低成本。首先，您可以通過(guò)為某些任務(wù)切換到較小的模型來(lái)降低每個(gè)令牌的成本，以降低成本?；蛘撸梢試L試減少所需的令牌數(shù)量。有幾種方法可以做到這一點(diǎn)，例如使用更短的提示、微調(diào)模型或緩存常見(jiàn)的用戶查詢，這樣就不需要重復(fù)處理它們。

您可以嘗試使用我們的交互式分詞器工具來(lái)幫助您估算成本。 API 和 playground 還返回令牌計(jì)數(shù)作為響應(yīng)的一部分。一旦您使用了我們最強(qiáng)大的模型，您就可以查看其他模型是否可以以更低的延遲和成本產(chǎn)生相同的結(jié)果。

MLOps 策略

當(dāng)您將原型投入生產(chǎn)時(shí)，您可能需要考慮制定 MLOps 策略。 MLOps（機(jī)器學(xué)習(xí)操作）是指管理機(jī)器學(xué)習(xí)模型的端到端生命周期的過(guò)程，包括您可能使用我們的 API 進(jìn)行微調(diào)的任何模型。設(shè)計(jì) MLOps 策略時(shí)需要考慮多個(gè)方面。這些包括

• 數(shù)據(jù)和模型管理：管理用于訓(xùn)練或微調(diào)模型以及跟蹤版本和更改的數(shù)據(jù)。

• 模型監(jiān)控：隨著時(shí)間的推移跟蹤模型的性能并檢測(cè)任何潛在的問(wèn)題或退化。

• 模型再訓(xùn)練：確保您的模型與數(shù)據(jù)變化或不斷變化的需求保持同步，并根據(jù)需要進(jìn)行再訓(xùn)練或微調(diào)。

• 模型部署：自動(dòng)化將模型和相關(guān)工件部署到生產(chǎn)中的過(guò)程。

仔細(xì)考慮您的應(yīng)用程序的這些方面將有助于確保您的模型保持相關(guān)性并隨著時(shí)間的推移表現(xiàn)良好。

安全性和合規(guī)性

當(dāng)您將原型投入生產(chǎn)時(shí)，您需要評(píng)估并解決可能適用于您的應(yīng)用程序的任何安全性和合規(guī)性要求。這將涉及檢查您正在處理的數(shù)據(jù)、了解我們的 API 如何處理數(shù)據(jù)，以及確定您必須遵守哪些法規(guī)。作為參考，這里是我們的隱私政策和使用條款。

您需要考慮的一些常見(jiàn)領(lǐng)域包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸和數(shù)據(jù)保留。您可能還需要實(shí)施數(shù)據(jù)隱私保護(hù)，例如在可能的情況下進(jìn)行加密或匿名化。此外，您應(yīng)該遵循安全編碼的最佳實(shí)踐，例如輸入清理和正確的錯(cuò)誤處理。

安全最佳實(shí)踐

使用我們的 API 創(chuàng)建您的應(yīng)用程序時(shí)，請(qǐng)考慮我們的安全最佳實(shí)踐，以確保您的應(yīng)用程序安全且成功。這些建議強(qiáng)調(diào)了廣泛測(cè)試產(chǎn)品、積極解決潛在問(wèn)題以及限制濫用機(jī)會(huì)的重要性。