论文标题

Enhancing Chess Reinforcement Learning with Graph Representation 基于图表示的象棋强化学习增强

论文链接

Enhancing Chess Reinforcement Learning with Graph Representation论文下载

论文作者

Tomas Rigaux, Hisashi Kashima

内容简介

本文提出了一种新的象棋强化学习架构，名为AlphaGateau，旨在克服现有强化学习模型在游戏适应性和可扩展性方面的局限性。传统的AlphaZero算法依赖于卷积神经网络（CNN）架构，限制了其在不同棋盘尺寸和变体之间的迁移能力。为此，本文采用图神经网络（GNN）来表示游戏状态，利用图的结构特性来增强模型的灵活性和泛化能力。通过扩展经典的图注意力网络（GAT）以包含边特征，AlphaGateau能够在较小的棋盘（如5×5）上进行训练，并快速微调以适应标准的8×8棋盘。实验结果表明，AlphaGateau在相似参数数量的情况下，学习速度显著快于传统架构，并在较少的训练迭代中实现了竞争力的表现。

分点关键点

1. 图表示的优势
   • 传统的强化学习模型通常使用网格结构表示游戏状态，限制了其灵活性。本文提出使用图表示，能够更自然地捕捉棋子之间的关系和移动，从而提高模型的适应性。

2. GATEAU层的创新

   • 本文提出了一种新的图神经网络层GATEAU，能够同时处理节点和边特征。这一创新使得模型能够更有效地评估棋局，并生成基于边的策略输出。

3. 快速微调能力

   • AlphaGateau在5×5棋盘上进行训练后，能够快速微调以适应8×8棋盘，显示出良好的泛化能力。这一特性使得模型在不同棋盘变体之间的迁移学习变得更加高效。
     

4. 实验结果与性能

   • 实验表明，AlphaGateau在较小的网络结构下，能够在训练时间上显著优于传统的AlphaZero模型，且在相似参数数量的情况下，表现出更强的游戏实力。

论文代码

代码链接：https://github.com/akulen/AlphaGateau

中文关键词

1. 强化学习
2. 图神经网络
3. 国际象棋
4. 图表示
5. 泛化能力
6. 自我对弈

Neurlps2024论文合集：

Neurlps2024论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！