人工智能強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)【免費(fèi)下載鏈接】open_spielOpenSpiel is a collection of environments and algorithms for research in general reinforcement learning and search/planning in games.項(xiàng)目地址https://gitcode.com/gh_mirrors/op/open_spiel點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文圍繞 OpenSpiel 核心 State API 中的chance_outcomes()方法展開(kāi)講解如何獲取隨機(jī)節(jié)點(diǎn)Chance Node的概率分布、理解is_chance_node()與其配合的判定邏輯并通過(guò) Leduc Poker、外部采樣 MCCFR、CFR 等真實(shí)用例展示如何讀取、校驗(yàn)與采樣這一分布。讀完本文你將掌握在 OpenSpielPython 與 C中處理隨機(jī)性來(lái)源的標(biāo)準(zhǔn)姿勢(shì)以及kExplicitStochastic/kSampledStochastic兩種隨機(jī)模式對(duì)chance_outcomes()行為的影響。1.chance_outcomes()是什么chance_outcomes()是 State 類提供的核心方法之一返回一個(gè)(action, probability)二元組列表表示當(dāng)前狀態(tài)下的隨機(jī)動(dòng)作及其概率分布。其 C 簽名在 spiel.h 中定義// Get the chance outcomes and their probabilities. // // Chance actions do not have a separate UID space from regular actions. // // Note: what is returned here depending on the games chance_mode (in // its GameType): // - Option 1. kExplicit. All chance node outcomes are returned along with // their respective probabilities. Then State::ApplyAction(...) is // deterministic. // - Option 2. kSampled. Return a dummy single action here with probability // 1, and then State::ApplyAction(...) does the real sampling. In this // case, the game has to maintain its own RNG. virtual ActionsAndProbs ChanceOutcomes() const { SpielFatalError(ChanceOutcomes unimplemented!); }其中ActionsAndProbs即std::vectorstd::pairAction, double。幾個(gè)關(guān)鍵語(yǔ)義返回值(動(dòng)作 ID, 概率)列表概率之和應(yīng)為 1合法離散分布只在隨機(jī)節(jié)點(diǎn)調(diào)用才有意義非隨機(jī)節(jié)點(diǎn)調(diào)用會(huì)觸發(fā)SpielFatalError(ChanceOutcomes unimplemented!)或返回空/未定義結(jié)果因此調(diào)用前務(wù)必用is_chance_node()判定動(dòng)作 ID 與普通動(dòng)作共享編號(hào)空間隨機(jī)動(dòng)作沒(méi)有獨(dú)立 UID 空間見(jiàn) spiel.h這保證了整個(gè)博弈樹(shù)中動(dòng)作編號(hào)的統(tǒng)一性隨機(jī)性來(lái)源由chance_mode決定若游戲聲明為kExplicitStochasticchance_outcomes()返回完整分布且ApplyAction是確定性的若為kSampledStochastic則只返回一個(gè)概率為 1 的占位動(dòng)作真正的采樣在ApplyAction內(nèi)部完成需要游戲自身維護(hù) RNG。ChanceMode枚舉定義在 spiel.henum class ChanceMode { kDeterministic, // No chance nodes kExplicitStochastic, // Has at least one chance node, all with // deterministic ApplyAction() kSampledStochastic, // At least one chance node with non-deterministic // ApplyAction() };源碼注釋spiel.h建議實(shí)現(xiàn)隨機(jī)游戲時(shí)優(yōu)先采用kExplicitStochastic因?yàn)閷W(xué)習(xí)算法能看到完整的隨機(jī)結(jié)果分布而不只是單個(gè)采樣結(jié)果。2. Python 中的典型用法以 Leduc Poker 為例在 Python 中通過(guò)pyspiel訪問(wèn)該方法其綁定位于 open_spiel/python/pybind11/pyspiel.cc.def(chance_outcomes, State::ChanceOutcomes)。Leduc Poker 是驗(yàn)證chance_outcomes()的經(jīng)典游戲發(fā)牌由隨機(jī)節(jié)點(diǎn)完成每輪從牌堆中抽取手牌。文檔示例state_chance_outcomes.md完整復(fù)現(xiàn)如下import pyspiel import numpy as np game pyspiel.load_game(leduc_poker) state game.new_initial_state() # First players private card. print(state.chance_outcomes()) # Output: # [(0, 0.16666666666666666), (1, 0.16666666666666666), (2, 0.16666666666666666), (3, 0.16666666666666666), (4, 0.16666666666666666), (5, 0.16666666666666666)] state.apply_action(0) # Second players private card. outcomes state.chance_outcomes() print() # Output: # [(1, 0.2), (2, 0.2), (3, 0.2), (4, 0.2), (5, 0.2)] # Sampling an outcome and applying it. action_list, prob_list zip(*outcomes) action np.random.choice(action_list, pprob_list) state.apply_action(action)這段代碼展示了兩個(gè)關(guān)鍵觀察概率隨牌堆變化初始 6 張牌每張概率1/6 ≈ 0.1667第一位玩家抽走動(dòng)作0后剩余 5 張牌每張概率變?yōu)?/5 0.2且動(dòng)作0不再出現(xiàn)——chance_outcomes()返回的是當(dāng)前狀態(tài)下真實(shí)的剩余牌分布不是固定常量手動(dòng)采樣 應(yīng)用把(action, probability)拆成兩個(gè)列表用np.random.choice(action_list, pprob_list)按概率采樣再apply_action(action)推進(jìn)狀態(tài)。2.1 源碼印證Leduc 發(fā)牌分布的生成邏輯Leduc 的ChanceOutcomes()實(shí)現(xiàn)在 open_spiel/games/leduc_poker/leduc_poker.ccstd::vectorstd::pairAction, double LeducState::ChanceOutcomes() const { SPIEL_CHECK_TRUE(IsChanceNode()); std::vectorstd::pairAction, double outcomes; if (suit_isomorphism_) { const double p 1.0 / deck_size_; // Consecutive cards in deck are viewed identically. for (int card 0; card deck_.size() / 2; card) { if (deck_[card * 2] ! kInvalidCard deck_[card * 2 1] ! kInvalidCard) { outcomes.push_back({card, p * 2}); } else if (deck_[card * 2] ! kInvalidCard || deck_[card * 2 1] ! kInvalidCard) { outcomes.push_back({card, p}); } } return outcomes; } const double p 1.0 / deck_size_; for (int card 0; card deck_.size(); card) { // This card is still in the deck, prob is 1/decksize. if (deck_[card] ! kInvalidCard) outcomes.push_back({card, p}); } return outcomes; }實(shí)現(xiàn)細(xì)節(jié)值得注意第一行SPIEL_CHECK_TRUE(IsChanceNode())明確要求該方法只能在隨機(jī)節(jié)點(diǎn)被調(diào)用這正是 Python 示例中初始狀態(tài)發(fā)牌節(jié)點(diǎn)可調(diào)用的原因非同構(gòu)模式下概率恒為1 / deck_size_deck_size_是剩余牌數(shù)見(jiàn) leduc_poker.h 注釋 Number of cards remaining與示例中 1/6、1/5 的輸出完全吻合同構(gòu)suit_isomorphism_模式下花色被折疊連續(xù)兩張花色牌視為同一張概率相應(yīng)翻倍p * 2這是可配置游戲參數(shù)引起的分布差異。3. 配合is_chance_node()使用先判定再取值由于chance_outcomes()只在隨機(jī)節(jié)點(diǎn)有定義實(shí)踐中總是先調(diào)用is_chance_node()判斷當(dāng)前狀態(tài)是否為隨機(jī)節(jié)點(diǎn)。該方法的 C 默認(rèn)實(shí)現(xiàn)在 spiel.h// Is this state a chance node? Chance nodes are states whose actions // represent stochastic outcomes. Chance or Nature is thought of as a // player with a fixed (randomized) policy. virtual bool IsChanceNode() const { return CurrentPlayer() kChancePlayerId; }Python 綁定同樣位于 pyspiel.cc.def(is_chance_node, State::IsChanceNode)。kChancePlayerId是 OpenSpiel 中自然/環(huán)境玩家的特殊 IDkChancePlayerId -1一類的保留值。從語(yǔ)義上講隨機(jī)性被抽象為一名使用固定隨機(jī)策略的玩家這使得博弈樹(shù)可以統(tǒng)一地按玩家輪流行動(dòng)的框架處理隨機(jī)節(jié)點(diǎn)只是行動(dòng)者恰為自然。is_chance_node()的判定測(cè)試state_is_chance_node.mdimport pyspiel game pyspiel.load_game(tic_tac_toe) state game.new_initial_state() print(state.is_chance_node()) # Output: False game pyspiel.load_game(leduc_poker) state game.new_initial_state() print(state.is_chance_node()) # Output: True game pyspiel.load_game(matrix_sh) state game.new_initial_state() print(state.is_chance_node()) # Output: Falsetic_tac_toe完全確定性的完美信息游戲初始狀態(tài)是玩家 0 的決策節(jié)點(diǎn)返回Falseleduc_poker初始狀態(tài)就是發(fā)牌隨機(jī)節(jié)點(diǎn)返回Truematrix_sh單回合同時(shí)行動(dòng)的矩陣博弈沒(méi)有隨機(jī)節(jié)點(diǎn)返回False。這種先is_chance_node()判定、再chance_outcomes()取值、最后apply_action()推進(jìn)的三步模式是遍歷含隨機(jī)性博弈樹(shù)的標(biāo)準(zhǔn)套路。LegalActions()的默認(rèn)實(shí)現(xiàn)甚至直接復(fù)用了這一判定邏輯spiel.hvirtual std::vectorAction LegalActions(Player player) const { if (!IsTerminal() player CurrentPlayer()) { return IsChanceNode() ? LegalChanceOutcomes() : LegalActions(); } else { return {}; } }即在隨機(jī)節(jié)點(diǎn)上合法動(dòng)作列表就是合法隨機(jī)結(jié)果LegalChanceOutcomes()默認(rèn)由ChanceOutcomes()取出所有動(dòng)作 ID 構(gòu)成見(jiàn) spiel.h。因此state.legal_actions()在隨機(jī)節(jié)點(diǎn)同樣可用返回的正是可抽到的全部結(jié)果。4. 深入OpenSpiel 內(nèi)部如何采樣隨機(jī)結(jié)果4.1 C 側(cè)SampleAction從隨機(jī)分布中抽取一個(gè)結(jié)果OpenSpiel 提供全局函數(shù)SampleAction聲明于 spiel.h實(shí)現(xiàn)于 spiel.ccstd::pairAction, double SampleAction(const ActionsAndProbs outcomes, double z) { SPIEL_CHECK_GE(z, 0); SPIEL_CHECK_LT(z, 1); // Special case for one-item lists. if (outcomes.size() 1) { SPIEL_CHECK_FLOAT_EQ(outcomes[0].second, 1.0); return outcomes[0]; } // First do a check that this is indeed a proper discrete distribution. double sum 0; for (const std::pairAction, double outcome : outcomes) { double prob outcome.second; SPIEL_CHECK_PROB(prob); sum prob; } SPIEL_CHECK_FLOAT_EQ(sum, 1.0); // Now sample an outcome. sum 0; for (const std::pairAction, double outcome : outcomes) { double prob outcome.second; if (sum z z (sum prob)) { return outcome; } sum prob; } SpielFatalError(Failed to sample an action, this should never happen.); }要點(diǎn)該函數(shù)是累加區(qū)間采樣把[0, 1)按概率切成連續(xù)區(qū)間z落在哪個(gè)區(qū)間就選哪個(gè)動(dòng)作復(fù)雜度 O(n)采樣前會(huì)做分布合法性校驗(yàn)概率必須在[0, 1]內(nèi)且總和為 1SPIEL_CHECK_PROB、SPIEL_CHECK_FLOAT_EQ這提醒調(diào)用方chance_outcomes()返回的分布理論上必須歸一化另有一個(gè)接受隨機(jī)數(shù)生成器的重載spiel.ccSampleAction(outcomes, absl::Uniform(rng, 0.0, 1.0))把z的生成與采樣封裝在一起。4.2 Python 側(cè)np.random.choice的等價(jià)替代Python 中除文檔示例的np.random.choice(action_list, pprob_list)外pyspiel也直接暴露了 C 的采樣能力。更貼近 OpenSpiel 內(nèi)部風(fēng)格的做法是import pyspiel game pyspiel.load_game(leduc_poker) state game.new_initial_state() outcomes state.chance_outcomes() actions [a for a, p in outcomes] probs [p for a, p in outcomes] assert abs(sum(probs) - 1.0) 1e-9 # 概率和應(yīng)為 1 action pyspiel.sample_action(outcomes) # 等價(jià)于 C SampleAction state.apply_action(action)不過(guò)以當(dāng)前倉(cāng)庫(kù) pyspiel.cc 的綁定為準(zhǔn)chance_outcomes直接返回(action, prob)列表配合zip(*outcomes)拆解、np.random.choice采樣即可無(wú)需依賴額外 API。需要強(qiáng)調(diào)的一點(diǎn)是不要手動(dòng)修改返回的概率值OpenSpiel 約定該分布已歸一化算法代碼如SampleAction會(huì)按合法離散分布處理。5. 實(shí)戰(zhàn)價(jià)值算法中的標(biāo)準(zhǔn)消費(fèi)模式chance_outcomes()并非孤立 API它是眾多強(qiáng)化學(xué)習(xí)與博弈論算法處理隨機(jī)性的樞紐。倉(cāng)庫(kù)中大量算法通過(guò)is_chance_node()ChanceOutcomes()SampleAction的組合遍歷含隨機(jī)的博弈樹(shù)。5.1 CFR遍歷完整隨機(jī)分布CFRCounterfactual Regret Minimization在初始化信息狀態(tài)節(jié)點(diǎn)時(shí)對(duì)每個(gè)隨機(jī)節(jié)點(diǎn)窮舉其全部隨機(jī)結(jié)果并遞歸展開(kāi)子節(jié)點(diǎn)open_spiel/algorithms/cfr.ccif (state.IsChanceNode()) { for (const auto action_prob : state.ChanceOutcomes()) { InitializeInfostateNodes(*state.Child(action_prob.first)); } return; }這里action_prob.first是動(dòng)作 IDstate.Child(...)生成對(duì)應(yīng)子狀態(tài)。CFR 依賴完整分布計(jì)算期望后悔值因此要求游戲采用kExplicitStochastic模式——這也解釋了 spiel.h 注釋中顯式隨機(jī)更有利于學(xué)習(xí)算法的建議。5.2 外部采樣 MCCFR按分布隨機(jī)抽樣與 CFR 的窮舉不同外部采樣 MCCFR 在隨機(jī)節(jié)點(diǎn)按概率抽樣一次open_spiel/algorithms/external_sampling_mccfr.cc} else if (state.IsChanceNode()) { Action action SampleAction(state.ChanceOutcomes(), dist_(*rng)).first;同樣的模式還出現(xiàn)在 outcome_sampling_mccfr.cc、mcts.cc、evaluate_bots.cc 等處——MCTS 在隨機(jī)節(jié)點(diǎn)通過(guò)SampleAction(working_state-ChanceOutcomes(), rng_)抽取環(huán)境結(jié)果mcts.cc?？梢?jiàn)窮舉分布 vs 按分布采樣是確定性搜索類算法CFR、值迭代與隨機(jī)采樣類算法MCCFR、MCTS、DQN 環(huán)境模擬在隨機(jī)節(jié)點(diǎn)上的核心差異而兩者的共同輸入都是chance_outcomes()。5.3 智能體評(píng)估統(tǒng)一的環(huán)境隨機(jī)性接口open_spiel/algorithms/evaluate_bots.cc 中評(píng)估器在隨機(jī)節(jié)點(diǎn)同樣調(diào)用SampleAction(state-ChanceOutcomes(), rng)保證所有被評(píng)估的 bot 面對(duì)一致的環(huán)境隨機(jī)性接口。6. 常見(jiàn)問(wèn)題與注意事項(xiàng)在非隨機(jī)節(jié)點(diǎn)調(diào)用chance_outcomes()C 側(cè) Leduc 實(shí)現(xiàn)直接SPIEL_CHECK_TRUE(IsChanceNode())斷言多數(shù)游戲會(huì)崩潰/報(bào)錯(cuò)調(diào)用前務(wù)必用is_chance_node()判定或用state.get_type()返回StateType::kChance確認(rèn)節(jié)點(diǎn)類型參見(jiàn) state_get_type.md 中對(duì) Chance 類型的說(shuō)明。kSampledStochastic模式的假分布若游戲聲明該模式chance_outcomes()只返回一個(gè)概率為 1 的占位動(dòng)作真實(shí)隨機(jī)性藏在ApplyAction內(nèi)部。此時(shí)不要依賴該分布做概率計(jì)算從源碼角度看這種模式下的狀態(tài)序列化也存在限制spiel.h 注釋明確說(shuō)明默認(rèn)序列化方案對(duì)kSampledStochastic游戲不適用。概率浮點(diǎn)誤差返回概率是double比較時(shí)建議用容差如abs(sum(probs) - 1.0) 1e-9不要用精確比較。返回值順序ChanceOutcomes()無(wú)強(qiáng)制排序保證但LegalChanceOutcomes()文檔約定合法動(dòng)作升序spiel.h若你的算法依賴順序請(qǐng)基于legal_actions()或自行排序。7. 關(guān)聯(lián) API 速覽chance_outcomes()與以下 API 協(xié)同工作相關(guān)文檔見(jiàn) api_reference.md方法作用對(duì)應(yīng)文檔is_chance_node()判斷當(dāng)前是否為隨機(jī)節(jié)點(diǎn)state_is_chance_node.mdchance_outcomes()返回 (動(dòng)作, 概率) 列表state_chance_outcomes.mdapply_action(action)應(yīng)用隨機(jī)結(jié)果推進(jìn)狀態(tài)state_apply_action.mdlegal_actions()隨機(jī)節(jié)點(diǎn)上返回合法隨機(jī)結(jié)果state_legal_actions.mdmax_chance_outcomes()單個(gè)隨機(jī)節(jié)點(diǎn)的最大結(jié)果數(shù)上限game_max_chance_outcomes.mdmax_chance_nodes_in_history()任意歷史中隨機(jī)節(jié)點(diǎn)最大數(shù)量game_max_chance_nodes_in_history.md其中g(shù)ame.max_chance_outcomes()是游戲級(jí)元信息隨機(jī)節(jié)點(diǎn)結(jié)果數(shù)的上界C 默認(rèn)返回 0 表示無(wú)隨機(jī)節(jié)點(diǎn)見(jiàn) spiel.h可用于為隨機(jī)動(dòng)作預(yù)留張量/緩存空間Leduc 的實(shí)現(xiàn)返回剩余牌數(shù)leduc_poker.cc 附近。8. 小結(jié)chance_outcomes()是 OpenSpiel 處理環(huán)境隨機(jī)性的統(tǒng)一入口它把自然的隨機(jī)選擇暴露為普通動(dòng)作的帶概率列表讓 CFR 等算法可以窮舉、讓 MCCFR/MCTS 等算法可以采樣。理解它需要同時(shí)掌握三個(gè)層面接口語(yǔ)義返回歸一化的 (動(dòng)作, 概率) 對(duì)僅隨機(jī)節(jié)點(diǎn)有效、游戲聲明kExplicitStochastic給出完整分布kSampledStochastic只給占位動(dòng)作、消費(fèi)模式is_chance_node()判定 →chance_outcomes()取值 →apply_action()/SampleAction()推進(jìn)。以此為起點(diǎn)即可在自己的博弈算法中正確處理任何含隨機(jī)性的游戲環(huán)境。贊分享人工智能強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)【免費(fèi)下載鏈接】open_spielOpenSpiel is a collection of environments and algorithms for research in general reinforcement learning and search/planning in games.項(xiàng)目地址https://gitcode.com/gh_mirrors/op/open_spiel點(diǎn)擊查看免費(fèi)下載相關(guān)推薦PyTorch3D sample_pdf 深度解析NeRF 分層采樣中的概率密度采樣器PyTorch3D sample_pdf 深度解析NeRF 分層采樣中的概率密度采樣器 本篇文章聚焦 PyTorch3D 中 pytorch3d.render人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)圖形學(xué)微信、QQ、TIM 防撤回完整指南RevokeMsgPatcher 補(bǔ)丁操作步驟與報(bào)錯(cuò)排查微信、QQ、TIM 防撤回完整指南RevokeMsgPatcher 補(bǔ)丁操作步驟與報(bào)錯(cuò)排查 消息剛發(fā)出來(lái)轉(zhuǎn)眼就要被撤走還能不能留住RevokeMsgPa桌面應(yīng)用即時(shí)通訊Loki日志采樣算法深度解析隨機(jī)采樣與系統(tǒng)采樣的終極對(duì)比指南Loki日志采樣算法深度解析隨機(jī)采樣與系統(tǒng)采樣的終極對(duì)比指南 Loki是一個(gè)開(kāi)源、高擴(kuò)展性和多租戶的日志聚合系統(tǒng)由Grafana Labs開(kāi)發(fā)。它主要用于收可觀測(cè)性日志分析后端微服務(wù)對(duì)象存儲(chǔ)云原生上一篇IcemacOS菜單欄管理的終極解決方案讓你的桌面整潔如新下一篇Marketing Skills 項(xiàng)目中的 SavvyCal 調(diào)度平臺(tái)集成指南API 與 CLI 實(shí)戰(zhàn)全解創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考