LLMs之APE：基于Claude的Prompt Improver的簡(jiǎn)介、使用方法、案例應(yīng)用之詳細(xì)攻略

Prompt Improver的簡(jiǎn)介

Anthropic推出了Prompt Improver，支持通過(guò)Claude自動(dòng)優(yōu)化提示詞，以及在Workbench中直接管理和生成多示例輸入/輸出對(duì)。Prompt Improver通過(guò)系統(tǒng)性的提示詞優(yōu)化和示例管理功能，顯著提升了AI模型的準(zhǔn)確性、一致性和性能，為開(kāi)發(fā)者提供了一套高效、可靠的提示詞工程工具。Prompt Improver通過(guò)自動(dòng)化和結(jié)構(gòu)化方法，極大地簡(jiǎn)化了提示詞優(yōu)化和管理的過(guò)程，為開(kāi)發(fā)者提供了高效的工具鏈。這一工具不僅提高了模型響應(yīng)的準(zhǔn)確性和一致性，還支持靈活的提示詞遷移和格式調(diào)整，是開(kāi)發(fā)可靠AI應(yīng)用的關(guān)鍵助力。

相關(guān)文章地址：Improve your prompts in the developer console \ Anthropic

0、背景痛點(diǎn)

>> 高質(zhì)量提示詞的重要性：提示詞的質(zhì)量直接決定了AI模型對(duì)任務(wù)的響應(yīng)效果。然而，優(yōu)秀的提示詞設(shè)計(jì)（Prompt Engineering）不僅耗時(shí)，還因不同模型提供商的差異而存在標(biāo)準(zhǔn)不統(tǒng)一的困擾。
>> 遷移復(fù)雜性：從其他模型遷移至Claude需要對(duì)提示詞進(jìn)行優(yōu)化，而手動(dòng)調(diào)整的過(guò)程可能會(huì)出錯(cuò)或效率低下。
>> 標(biāo)準(zhǔn)化需求：當(dāng)前提示詞中的示例缺乏統(tǒng)一的結(jié)構(gòu)和高效的格式，使得模型輸出的準(zhǔn)確性和一致性難以保障。

1、優(yōu)勢(shì)

>> 效率提升：自動(dòng)優(yōu)化和生成功能顯著縮短提示詞優(yōu)化的時(shí)間。
>> 精確性增強(qiáng)：優(yōu)化后的提示詞能夠顯著提高模型的任務(wù)完成度（例如多標(biāo)簽分類任務(wù)的準(zhǔn)確率提升30%）。
>> 一致性與格式控制：通過(guò)標(biāo)準(zhǔn)化和格式化，提示詞輸出的格式一致性達(dá)到100%。
>> 適應(yīng)性強(qiáng)：支持遷移其他模型的提示詞，靈活調(diào)整輸出格式（如XML到JSON）。

2、實(shí)現(xiàn)思路

Prompt優(yōu)化

>> 連鎖思維（Chain-of-thought reasoning）：為Claude提供推理步驟，提升回答的準(zhǔn)確性和可靠性。
>> 示例標(biāo)準(zhǔn)化：將示例轉(zhuǎn)化為統(tǒng)一的XML格式，增強(qiáng)清晰度和可處理性。
>> 示例豐富化：增加符合優(yōu)化提示詞邏輯的連鎖思維示例。
>> 重寫(xiě)提示詞：優(yōu)化提示詞結(jié)構(gòu)并修正語(yǔ)法或拼寫(xiě)問(wèn)題。
>> 預(yù)填補(bǔ)充（Prefill addition）：在Assistant消息中預(yù)填內(nèi)容，指導(dǎo)Claude行動(dòng)并確保輸出格式。

示例管理

>> 結(jié)構(gòu)化示例添加：開(kāi)發(fā)者可以在Workbench中添加或編輯明確的輸入/輸出示例對(duì)。
>> Claude驅(qū)動(dòng)的示例生成：自動(dòng)創(chuàng)建合成示例輸入和輸出，簡(jiǎn)化示例創(chuàng)建流程。

提示詞評(píng)估

>> 理想輸出列：在Evaluations標(biāo)簽頁(yè)中提供可選的“理想輸出”列，便于對(duì)模型響應(yīng)進(jìn)行一致的5分制評(píng)分。
>> 循環(huán)反饋優(yōu)化：允許開(kāi)發(fā)者多輪反饋，直至提示詞和示例達(dá)到預(yù)期效果。

Prompt Improver的使用方法

1、使用方法

>> 登錄Anthropic Console。
>> 在控制臺(tái)中使用Prompt Improver上傳或輸入提示詞。
>> 選擇優(yōu)化選項(xiàng)（鏈?zhǔn)剿季S、標(biāo)準(zhǔn)化、重寫(xiě)等），并添加示例或利用Claude自動(dòng)生成。
>> 在Evaluations頁(yè)面測(cè)試提示詞性能，比較理想輸出和實(shí)際結(jié)果。
>> 提供反饋并重復(fù)優(yōu)化，直到提示詞達(dá)到預(yù)期效果。

登錄地址：App unavailable \ Anthropic

Prompt Improver的案例應(yīng)用

1、Kapa.ai的遷移實(shí)踐

背景：Kapa.ai是一家將技術(shù)知識(shí)庫(kù)轉(zhuǎn)化為AI助手的公司。

問(wèn)題：需要遷移多個(gè)AI工作流至Claude。

解決方案：利用Prompt Improver優(yōu)化提示詞和示例。

效果：遷移過(guò)程加速，快速實(shí)現(xiàn)生產(chǎn)環(huán)境部署。