多臂老虎机
强化学习和优化领域的经典问题，研究在有限尝试预算下如何在探索未知选项和利用已知高收益选项之间做出最优分配
核心事实
时间轴 (近 90 天)
多臂老虎机（Multi-Armed Bandit）是决策模型里常被引用的一类策略，常见算法包括 ε-greedy、UCB 和 Thompson Sampling。
PORTAL 借鉴了多臂老虎机中的最佳臂识别思想，目标不是最大化累积奖励，而是以最少查询次数找出当前最优候选。
探索与利用的权衡直接决定了算法能否收敛到全局最优，也是多臂老虎机问题的主要研究对象。
研究者证明了一个数学等价关系：通过局部模仿进行的集体决策（如蜜蜂通过摇摆舞选择巢址）与单智能体强化学习（RL）在多臂老虎机设定下完全等价。
该等价性目前建立在多臂老虎机而非完整MDP的设定上，因此结论主要适用于静态或近似静态的决策问题。
多臂老虎机是强化学习中最简化的决策模型，智能体从固定的K个动作中选择一个获得即时奖励，没有状态转移。
UCB（Upper Confidence Bound）是经典的多臂老虎机算法，核心思想是对每个动作的期望收益估计加上置信上界项，优先选择上界最高的动作以平衡探索与利用。
多臂老虎机中的遗憾定义为T轮博弈后最优臂期望奖励的T倍减去实际策略获得的期望奖励总和。
多臂老虎机（MAB）是强化学习与在线决策中的经典框架，玩家面对K个臂，每个臂的收益服从未知分布，目标是最小化累积遗憾。
标准多臂老虎机问题的下界为O(√T)，ORUCB额外的log(T+1)因子源于同时学习纠正函数所引入的复杂度
还有 3 条时间轴事件
全部知识事实 (14)
决策模型专注于回答是/否判断、多项选择以及带概率的评分类问题
75%已验证强化学习的核心挑战在于探索-利用权衡，智能体需要在利用已知有效策略与探索未知可能性之间找到平衡
75%待验证多臂老虎机（Multi-Armed Bandit）是决策模型里常被引用的一类策略，常见算法包括 ε-greedy、UCB 和 Thompson Sampling。
50%待验证PORTAL 借鉴了多臂老虎机中的最佳臂识别思想，目标不是最大化累积奖励，而是以最少查询次数找出当前最优候选。
50%待验证探索与利用的权衡直接决定了算法能否收敛到全局最优，也是多臂老虎机问题的主要研究对象。
50%待验证研究者证明了一个数学等价关系：通过局部模仿进行的集体决策（如蜜蜂通过摇摆舞选择巢址）与单智能体强化学习（RL）在多臂老虎机设定下完全等价。
50%待验证多臂老虎机是强化学习中最简化的决策模型，智能体从固定的K个动作中选择一个获得即时奖励，没有状态转移。
50%待验证该等价性目前建立在多臂老虎机而非完整MDP的设定上，因此结论主要适用于静态或近似静态的决策问题。
50%待验证UCB（Upper Confidence Bound）是经典的多臂老虎机算法，核心思想是对每个动作的期望收益估计加上置信上界项，优先选择上界最高的动作以平衡探索与利用。
50%待验证多臂老虎机中的遗憾定义为T轮博弈后最优臂期望奖励的T倍减去实际策略获得的期望奖励总和。
50%待验证多臂老虎机（MAB）是强化学习与在线决策中的经典框架，玩家面对K个臂，每个臂的收益服从未知分布，目标是最小化累积遗憾。
50%待验证标准多臂老虎机问题的下界为O(√T)，ORUCB额外的log(T+1)因子源于同时学习纠正函数所引入的复杂度
50%待验证汤普森采样在多臂老虎机问题中用 Beta 分布建模各臂奖励概率后验，每轮从后验采样并选择采样值最大的臂，具有优于 ε-greedy 的理论遗憾界
50%待验证汤普森采样在多臂老虎机问题中，每轮从每个臂的Beta后验分布中采样一个值，选择采样值最大的臂执行，实现探索与利用的平衡
50%