與部署)
AI Toolkit for VS Code在編輯器里完成 AI 模型的測試、微調(diào)與部署【免費下載鏈接】foundry-dev-tools項目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools測一個模型要復(fù)制 API、手寫測試腳本微調(diào)又要配 Python 環(huán)境、搭訓(xùn)練流水線工具鏈來回切換。AI Toolkit for VS Code 把模型發(fā)現(xiàn)、對話測試、微調(diào)整合進一個擴展覆蓋從本地 Ollama 模型到云端端點的場景。讀完后你能在 Playground 里跑通第一次模型測試并生成一個可用的微調(diào)項目?？焖偕鲜职惭b擴展并通過環(huán)境檢測在 VS Code 擴展市場搜索 AI Toolkit選擇正式版本安裝按提示重載窗口。安裝完成后側(cè)邊欄會出現(xiàn) AI Toolkit 面板首次打開會進入 Get Started 引導(dǎo)頁勾選Explore AI models并點擊 Open Model Catalog即可進入模型目錄。擴展會自動做前置檢查本地模型依賴 GPU 驅(qū)動與 WSLWindows 下檢查未通過時界面會提示你缺什么、怎么補。若網(wǎng)絡(luò)環(huán)境不穩(wěn)定裝不了擴展可以先克隆倉庫查閱文檔與示例git clone https://gitcode.com/GitHub_Trending/vs/vscode-ai-toolkit在 Playground 跑通第一次模型對話打開 TOOLS 分組下的 Playground在右側(cè) Model 下拉框選一個模型遠程模型無需下載本地模型會先加載權(quán)重在底部輸入框發(fā)送 Hi。模型響應(yīng)、Token 計數(shù)會立即顯示在對話區(qū)這一步確認你的環(huán)境能正常推理。核心能力用模型目錄按硬件和來源篩選模型點擊側(cè)邊欄 CATALOG 分組的 Models 打開模型目錄。頂部篩選器按托管方GitHub、ONNX、OpenAI、Anthropic、Google、發(fā)布者、設(shè)備類型CPU/GPU/NPU過濾打開 Fine-Tuning Support 開關(guān)則只顯示支持微調(diào)的模型。沒有 GPU 的機器選帶 cpu-int4 標識的量化版本部分云端模型需要登錄對應(yīng)服務(wù)商賬號才能使用。用 Temperature 和 Top P 調(diào)出穩(wěn)定輸出Playground 右側(cè)的 Model Preferences 面板提供三組控制Context instructions給模型的常駐系統(tǒng)提示、Max response length、以及 Temperature 與 Top P。Temperature 越低輸出越確定適合需要固定格式的調(diào)用調(diào)高則適合發(fā)散性創(chuàng)作。對比不同模型對同一提示的回答可以直觀看出參數(shù)變化的影響再決定項目里用哪套設(shè)置。多模態(tài)模型還支持在輸入框旁附加本地文件作為視覺輸入一起參與推理。接入 Ollama 本地模型與遠程端點目錄之外的模型也能進 Playground。鼠標懸停 MY MODELS點擊出現(xiàn)的加號按鈕選 Add an Ollama model再選 Select models from Ollama library勾選已用ollama pull下載好的模型它們會出現(xiàn)在 MY MODELS 列表中與內(nèi)置模型用法一致。已有 OpenAI 兼容的聊天端點自建推理服務(wù)或云廠商 API時執(zhí)行命令A(yù)I Toolkit: Add model for remote inference填模型名、端點 URL 和鑒權(quán)頭OpenAI 格式為Authorization: Bearer YOUR_API_KEY模型會以 Remote 標簽加入樹視圖。一個完整小案例微調(diào)一個情感分類模型用項目自帶的流程把一個通用小模型訓(xùn)練成輸入一句話、輸出情緒標簽的分類器。生成微調(diào)項目在 AI Toolkit 面板點擊 Model Fine-tuning輸入項目名如emotion-tutorial和保存位置在 Model Catalog 中選中 microsoft/phi-2點擊 Configure Project。此時只生成項目腳手架模型尚未下載。把數(shù)據(jù)集字段指到 text 和 label 列在 Data settings 區(qū)域Dataset name 下拉框選 Add HF Name輸入dair-ai/emotionHugging Face 上的情緒分類數(shù)據(jù)集。再改兩處Text columns 改為text,label聲明訓(xùn)練要讀哪些列Text template 與 Inference prompt template 保持對應(yīng)模板中的{{text}}占位符會替換成真實文本。點擊 Generate Project擴展會下載模型、創(chuàng)建 Conda 環(huán)境完成后選擇 Relaunch Window in Workspace窗口重啟并打開生成的項目finetuning、dataset、inference、setup 等目錄。啟動微調(diào)并在 Gradio 里驗證結(jié)果在項目終端中激活環(huán)境并啟動訓(xùn)練conda activate phi-2-env python finetuning/invoke_olive.py微調(diào)采用 QLoRA 方式生成 LoRA 適配器終端實時打印訓(xùn)練進度。完成后進入驗證階段cd inference python gradio_chat.py終端會給出本地訪問鏈接瀏覽器打開 Gradio 界面輸入 Walking down the road cheering.點擊 Submit模型輸出情緒標簽 joy右側(cè)滑條可以現(xiàn)場調(diào) Top-k、Top-p、Temperature 觀察輸出變化。進階與延伸沒有本地 GPU 時把微調(diào)放到云端打開擴展設(shè)置中的 Enable Remote Fine-tuning And Inference用命令A(yù)I Toolkit: Provision Azure Container Apps job for fine-tuning開通云資源之后執(zhí)行AI Toolkit: Run fine-tuning訓(xùn)練就在 Azure Container Apps 上跑日志可直接在 VS Code 輸出面板流式查看AI Toolkit: Deploy for inference會把微調(diào)后的推理端點部署出去拿到 URL 即可調(diào)用。按硬件挑對模型檔位CPU 機器優(yōu)先選 cpu-int4 量化版本體積和內(nèi)存占用都小有 NVIDIA GPU 的機器先確認nvidia-smi能識別設(shè)備再選 GPU 檔位模型推理速度會明顯不同。參數(shù)層面Max response length 控制單次輸出的 token 上限長文本任務(wù)才需要調(diào)高。參考總覽與安裝doc/overview.md模型目錄與自帶模型doc/models.mdPlayground 用法doc/playground.md微調(diào)含遠程開發(fā)doc/finetune.md常見問題doc/faq.md完整實操示例archive/walkthrough-simple-dataset.md、archive/walkthrough-hf-dataset.mdFoundry Canvas 插件源碼microsoft-foundry/【免費下載鏈接】foundry-dev-tools項目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 AI Toolkit for VS Code：在編輯器里完成 AI 模型的測試、微調(diào)與部署
AI Toolkit for VS Code在編輯器里完成 AI 模型的測試、微調(diào)與部署【免費下載鏈接】foundry-dev-tools項目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools測一個模型要復(fù)制 API、手寫測試腳本微調(diào)又要配 Python 環(huán)境、搭訓(xùn)練流水線工具鏈來回切換。AI Toolkit for VS Code 把模型發(fā)現(xiàn)、對話測試、微調(diào)整合進一個擴展覆蓋從本地 Ollama 模型到云端端點的場景。讀完后你能在 Playground 里跑通第一次模型測試并生成一個可用的微調(diào)項目?？焖偕鲜职惭b擴展并通過環(huán)境檢測在 VS Code 擴展市場搜索 AI Toolkit選擇正式版本安裝按提示重載窗口。安裝完成后側(cè)邊欄會出現(xiàn) AI Toolkit 面板首次打開會進入 Get Started 引導(dǎo)頁勾選Explore AI models并點擊 Open Model Catalog即可進入模型目錄。擴展會自動做前置檢查本地模型依賴 GPU 驅(qū)動與 WSLWindows 下檢查未通過時界面會提示你缺什么、怎么補。若網(wǎng)絡(luò)環(huán)境不穩(wěn)定裝不了擴展可以先克隆倉庫查閱文檔與示例git clone https://gitcode.com/GitHub_Trending/vs/vscode-ai-toolkit在 Playground 跑通第一次模型對話打開 TOOLS 分組下的 Playground在右側(cè) Model 下拉框選一個模型遠程模型無需下載本地模型會先加載權(quán)重在底部輸入框發(fā)送 Hi。模型響應(yīng)、Token 計數(shù)會立即顯示在對話區(qū)這一步確認你的環(huán)境能正常推理。核心能力用模型目錄按硬件和來源篩選模型點擊側(cè)邊欄 CATALOG 分組的 Models 打開模型目錄。頂部篩選器按托管方GitHub、ONNX、OpenAI、Anthropic、Google、發(fā)布者、設(shè)備類型CPU/GPU/NPU過濾打開 Fine-Tuning Support 開關(guān)則只顯示支持微調(diào)的模型。沒有 GPU 的機器選帶 cpu-int4 標識的量化版本部分云端模型需要登錄對應(yīng)服務(wù)商賬號才能使用。用 Temperature 和 Top P 調(diào)出穩(wěn)定輸出Playground 右側(cè)的 Model Preferences 面板提供三組控制Context instructions給模型的常駐系統(tǒng)提示、Max response length、以及 Temperature 與 Top P。Temperature 越低輸出越確定適合需要固定格式的調(diào)用調(diào)高則適合發(fā)散性創(chuàng)作。對比不同模型對同一提示的回答可以直觀看出參數(shù)變化的影響再決定項目里用哪套設(shè)置。多模態(tài)模型還支持在輸入框旁附加本地文件作為視覺輸入一起參與推理。接入 Ollama 本地模型與遠程端點目錄之外的模型也能進 Playground。鼠標懸停 MY MODELS點擊出現(xiàn)的加號按鈕選 Add an Ollama model再選 Select models from Ollama library勾選已用ollama pull下載好的模型它們會出現(xiàn)在 MY MODELS 列表中與內(nèi)置模型用法一致。已有 OpenAI 兼容的聊天端點自建推理服務(wù)或云廠商 API時執(zhí)行命令A(yù)I Toolkit: Add model for remote inference填模型名、端點 URL 和鑒權(quán)頭OpenAI 格式為Authorization: Bearer YOUR_API_KEY模型會以 Remote 標簽加入樹視圖。一個完整小案例微調(diào)一個情感分類模型用項目自帶的流程把一個通用小模型訓(xùn)練成輸入一句話、輸出情緒標簽的分類器。生成微調(diào)項目在 AI Toolkit 面板點擊 Model Fine-tuning輸入項目名如emotion-tutorial和保存位置在 Model Catalog 中選中 microsoft/phi-2點擊 Configure Project。此時只生成項目腳手架模型尚未下載。把數(shù)據(jù)集字段指到 text 和 label 列在 Data settings 區(qū)域Dataset name 下拉框選 Add HF Name輸入dair-ai/emotionHugging Face 上的情緒分類數(shù)據(jù)集。再改兩處Text columns 改為text,label聲明訓(xùn)練要讀哪些列Text template 與 Inference prompt template 保持對應(yīng)模板中的{{text}}占位符會替換成真實文本。點擊 Generate Project擴展會下載模型、創(chuàng)建 Conda 環(huán)境完成后選擇 Relaunch Window in Workspace窗口重啟并打開生成的項目finetuning、dataset、inference、setup 等目錄。啟動微調(diào)并在 Gradio 里驗證結(jié)果在項目終端中激活環(huán)境并啟動訓(xùn)練conda activate phi-2-env python finetuning/invoke_olive.py微調(diào)采用 QLoRA 方式生成 LoRA 適配器終端實時打印訓(xùn)練進度。完成后進入驗證階段cd inference python gradio_chat.py終端會給出本地訪問鏈接瀏覽器打開 Gradio 界面輸入 Walking down the road cheering.點擊 Submit模型輸出情緒標簽 joy右側(cè)滑條可以現(xiàn)場調(diào) Top-k、Top-p、Temperature 觀察輸出變化。進階與延伸沒有本地 GPU 時把微調(diào)放到云端打開擴展設(shè)置中的 Enable Remote Fine-tuning And Inference用命令A(yù)I Toolkit: Provision Azure Container Apps job for fine-tuning開通云資源之后執(zhí)行AI Toolkit: Run fine-tuning訓(xùn)練就在 Azure Container Apps 上跑日志可直接在 VS Code 輸出面板流式查看AI Toolkit: Deploy for inference會把微調(diào)后的推理端點部署出去拿到 URL 即可調(diào)用。按硬件挑對模型檔位CPU 機器優(yōu)先選 cpu-int4 量化版本體積和內(nèi)存占用都小有 NVIDIA GPU 的機器先確認nvidia-smi能識別設(shè)備再選 GPU 檔位模型推理速度會明顯不同。參數(shù)層面Max response length 控制單次輸出的 token 上限長文本任務(wù)才需要調(diào)高。參考總覽與安裝doc/overview.md模型目錄與自帶模型doc/models.mdPlayground 用法doc/playground.md微調(diào)含遠程開發(fā)doc/finetune.md常見問題doc/faq.md完整實操示例archive/walkthrough-simple-dataset.md、archive/walkthrough-hf-dataset.mdFoundry Canvas 插件源碼microsoft-foundry/【免費下載鏈接】foundry-dev-tools項目地址: https://gitcode.com/GitHub_Trending/vs/foundry-dev-tools創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考