GA将!!!!!! in Action

概要

GA将!!!!!!は私（森岡）がフルスクラッチで作成したコンピュータ将棋ソフトです。自己対戦の経験を用いて、強化学習で評価関数のパラメータ調整を行う事が大きな特徴です（以前のバージョンでは他の学習アルゴリズムを用いていた事もあります）。

ちなみに読み方は「がしょう」で、"!"の数はメジャーバージョンを表します。バージョン番号を記載しない場合は「GA将」と書く事もあります。

戦歴・自戦記

**世界コンピュータ将棋選手権・オープン戦参加記録**
日時	大会名	成績
2006/05/03～05	第16回世界コンピュータ将棋選手権	3勝4敗で一次予選15位。一次予選敗退。
2007/04/07	第6回コンピュータ将棋オープン戦	3連敗で当然の最下位。
2007/05/03～05	第17回世界コンピュータ将棋選手権	1勝6敗で一次予選21位。一次予選敗退。この時はひどいバグが2つあったんですが、凹むので聞かないで下さい。
2009/04/05	第12回コンピュータ将棋オープン戦	またも3連敗で最下位。
2009/05/03～05	第19回世界コンピュータ将棋選手権	3勝4敗で一次予選17位。一次予選敗退。
2010/04/04	第14回コンピュータ将棋オープン戦	2勝2敗。
2010/05/02～04	第20回世界コンピュータ将棋選手権	5勝2敗で一次予選6位通過。3勝6敗で二次予選20位。二次予選敗退。
2012/05/03～05	第22回世界コンピュータ将棋選手権	奇跡的に5勝2敗で一次予選4位通過するも、二次予選では3勝6敗で良いとこ無し。総合順位21位。

Construction of GA将!!!!!! ※Under Construction

GA将!!!!!!のアルゴリズム・実装に関する情報です。

評価関数
探索ルーチン
強化学習
詰将棋ルーチン
合議
その他の工夫

ダウンロードコーナー

こちらからお願いします。

参考文献・サイト

私がGA将!!!!!!を作るにあたって参考にしたサイト・文献等を紹介します。

コンピュータ将棋の基本的な情報

「コンピュータ将棋のアルゴリズム―最強アルゴリズムの探求とプログラミング」「Java将棋のアルゴリズム―アルゴリズムの強化手法を探る」（共に工学社）

将棋のルール通り指す所から、定跡・αβ探索・評価関数・詰将棋と基本的な所が押さえられています。前者はC++、後者はJavaでサンプルコードが載っているので、自分の得意な言語の方を選べば良いかと。

「コンピュータ将棋の進歩1～5 」（共立出版）

上記2冊より更に高度な内容が欲しければ、このシリーズは必読です。 Bonanza Method発表前の本ですが、今になっても読む意味はあると思います。

「 Inside KFEnd」

コンピュータ将棋ソフトKFEndの技術的解説。静止探索の解説は私もかなり参考にさせてもらいました。
強化学習関連

「強化学習」（森北出版）

基礎から高度な話題まで網羅されていますし、例題も豊富なので強化学習入門には最適の一冊。強化学習に手を染めるつもりなら、買っておいて損は無いです。

「Reinforcement Learning:An Introduction」（Richard S. Sutton,Andrew G. Barto）

上記の本の英語版。オンラインで読めます。英語がスラスラ読めて、製本されてなくても構わないという人は、こちらを読んでおけばいいと思います。

「強くなるロボティック・ゲームプレイヤーの作り方～実践で学ぶ強化学習～」（毎日コミュニケーションズ）

上記「強化学習」には記載の無い、方策勾配法（この本では政策勾配法と呼んでいます）について書かれています。私はこの本を参考にして方策勾配法を実装しました。絶版らしいので買えるうちに買っておくのがベストかと。

「TDLeaf(λ): Combining Temporal Difference Learning with Game-Tree Search.」（Jonathan Baxter,Andrew Tridell,Lex Weaver）

強化学習で有名なTD(λ)とαβ探索を組み合わせたアルゴリズム（TDLeaf(λ)）の提案論文。 TD(λ)をTDLeaf(λ)に拡張するやり方は、私が方策勾配法を実装する際に参考にしました。

リンク集

コンピュータ将棋協会: 世界コンピュータ将棋選手権の主催者。選手権出場を目指すなら、定期的に見ておきましょう。
コンピュータ将棋協会blog: コンピュータ将棋界の主なイベント等の情報があります。
コンピュータ将棋や囲碁の掲示板: タイトルの通り、コンピュータ将棋・囲碁関連の掲示板です。YSS開発者の山下さん主催。
コンピュータ将棋のWiki: うさぴょんの育ての親さん主催のWikiです。まだ編集途中ですが、色々と有用な情報があります。
コンピュータ将棋の知識: misaki開発者の小宮さんによるコンピュータ将棋用語集。分からない用語があれば、ここで概要を把握出来るはずです。
PC Watch, ９８のWeblog: コンピュータのハードウェア関連の情報は、この辺を見ておけば大体把握出来ます。特にCPU関連の情報は重要です。

更新履歴

**更新履歴**
更新日	更新内容
2011/09/14	書きかけだけど初公開。
2011/09/15	Construction of GA将!!!!!の「その他の工夫」を公開。当分放置するつもりがなんで…

謝辞

最後になりましたが、芝浦工業大学の五十嵐治一先生とは、主に強化学習関連でディスカッションさせて頂きました。この場を借りてお礼を申し上げます。

また、世界コンピュータ将棋選手権の主催者ならびに関係者の方々、選手権の会場やインターネット上等で議論・意見交換させて頂いた皆様にも感謝します。

お問い合わせ

このウェブサイトに関するお問い合わせは森岡祐一（E-mailアドレス y.morioka.1979アットマークgmail.com）までお願いします。