W@ndre アピール文
2018/03/27

【由来】
W@ndreはwanderでwonderな将棋を指してほしいという意図で命名したプログラムです。

【目標】
長期的：角頭歩戦法を指しこなしてもらう。

今回：ディープラーニングのプログラムと既存プログラムを組み合わせて戦う。

【使用ライブラリ】
dlshogi
やねうら王

【定跡部】
角頭歩を指します。角頭歩ができない（▲２６歩△３４歩▲２５歩のオープニング等）ときは阪田流向飛車を指します。
昨年の第５回将棋電王トーナメント（以下SDT5）ではプロの棋譜やFloodgateの棋譜を利用して定跡を作成していましたが、
特定の変化に対して角頭歩側にマイナスとなる変化も多々含まれていました。
今回は自己対戦や手調整で特定局面での探索結果を反映させることで、簡単に不利な局面に持っていかれないよう工夫を試みています。


【評価関数】
やねうら王で利用するKPPT型評価関数について３種類の評価関数を用意したので、
それぞれを単体かブレンド(*a)して使い分ける予定です。
 １．
 昨年の選手権以降、教師局面の作成時に定跡を用いると、定跡を指しこなせるように見える評価関数が出来ることが確認されています。[1], [2], (*b)
 本選手権では、上記【定跡部】で作成した定跡を用い、ゼロベクトルから強化学習を行い評価関数を作成しました。
 作成された評価関数を元に定跡を改良し、その定跡で評価関数の追加学習を行うというサイクルを回しました。

 ２．
 SDT5にてHoneyWaffleが行っていた学習法[3]を参考に、特定の形に強制的に減点・加点することで角頭歩局面を評価する評価関数を作成しました。

 ３．
 やねうら王ライブラリより配布されていた教師局面データ(*c)で、評価関数バイナリ[181_0020G]を再学習させました。

１，２は角頭歩戦法を理解できるかの試みとして作成した評価関数、
３はやねうら王ライブラリで配布されている教師局面と評価バイナリを学習の練習も兼ねて作成した評価関数です。
また、dlshogiに関して、３の教師局面を学習させたモデルを利用する予定です（執筆時点）


【探索部】
序盤は２駒や３駒より表現力の高いディープラーニング系の評価関数と探索手法が優れている気がしたので(*d, *e, *f, *g, *h)、序盤に関してはdlshogiを利用し、
中終盤以降はやねうら王探索部に頑張ってもらいます。
現時点ではライブラリの探索部に変更を加える予定はありませんが、
やねうら王ライブラリ利用者の参加状況次第では、探索延長部のパラメタに手を加えるかもしれません。[4][5]


【謝辞】
本プログラムを作成するにあたり、やねうら王ライブラリとdlshogiライブラリの作者様に深く感謝いたします。
また、金沢将棋、白砂将棋、Labyrinthus、HoneyWaffleの存在なくしてはW@ndreはありませんでした、アイデアをくださった皆様に御礼申し上げます。


【参考文献】
[1] 棋風を覚える将棋ソフトが完成してた件
 http://yaneuraou.yaneu.com/2017/06/26/%E6%A3%8B%E9%A2%A8%E3%82%92%E8%A6%9A%E3%81%88%E3%82%8B%E5%B0%86%E6%A3%8B%E3%82%BD%E3%83%95%E3%83%88%E3%81%8C%E5%AE%8C%E6%88%90%E3%81%97%E3%81%A6%E3%81%9F%E4%BB%B6/
[2] 素人による評価関数自作記---ゼロから自分好みの評価関数を育成
 http://www.uuunuuun.com/single-post/2017/06/22/%E7%B4%A0%E4%BA%BA%E3%81%AB%E3%82%88%E3%82%8B%E8%A9%95%E4%BE%A1%E9%96%A2%E6%95%B0%E8%87%AA%E4%BD%9C%E8%A8%98---%E3%82%BC%E3%83%AD%E3%81%8B%E3%82%89%E8%87%AA%E5%88%86%E5%A5%BD%E3%81%BF%E3%81%AE%E8%A9%95%E4%BE%A1%E9%96%A2%E6%95%B0%E3%82%92%E8%82%B2%E6%88%90
[3] HoneyWaffle 第5回将棋電王トーナメント版
 https://github.com/32hiko/HoneyWaffleSDT5
[4]魔女より強くすると本当は強くならない？！
 http://yaneuraou.yaneu.com/2016/06/14/%E9%AD%94%E5%A5%B3%E3%82%88%E3%82%8A%E5%BC%B7%E3%81%8F%E3%81%99%E3%82%8B%E3%81%A8%E6%9C%AC%E5%BD%93%E3%81%AF%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%89%E3%81%AA%E3%81%84%EF%BC%9F%EF%BC%81/
[5]Stockfish DD - search 探索部
 http://yaneuraou.yaneu.com/2015/02/24/stockfish-dd-search-%E6%8E%A2%E7%B4%A2%E9%83%A8/

(*a) 評価関数のキメラ化コマンド公開しました
 http://yaneuraou.yaneu.com/2017/06/28/%E8%A9%95%E4%BE%A1%E9%96%A2%E6%95%B0%E3%81%AE%E3%82%AD%E3%83%A1%E3%83%A9%E5%8C%96%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E5%85%AC%E9%96%8B%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F/
(*b) 定跡の生成に使った評価関数を用いるべき？
 http://yaneuraou.yaneu.com/2014/12/27/%E5%AE%9A%E8%B7%A1%E3%81%AE%E7%94%9F%E6%88%90%E3%81%AB%E4%BD%BF%E3%81%A3%E3%81%9F%E8%A9%95%E4%BE%A1%E9%96%A2%E6%95%B0%E3%82%92%E7%94%A8%E3%81%84%E3%82%8B%E3%81%B9%E3%81%8D%EF%BC%9F/
(*c)-1 将棋ソフトの機械学習の成否を判定するための資料
 http://yaneuraou.yaneu.com/2017/05/26/%E5%B0%86%E6%A3%8B%E3%82%BD%E3%83%95%E3%83%88%E3%81%AE%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E6%88%90%E5%90%A6%E3%82%92%E5%88%A4%E5%AE%9A%E3%81%99%E3%82%8B%E3%81%9F%E3%82%81%E3%81%AE%E8%B3%87/
(*c)-2 depth10で作った110億局面の教師データ、期間限定で公開します
 http://yaneuraou.yaneu.com/2017/11/21/depth10%E3%81%A7%E4%BD%9C%E3%81%A3%E3%81%9F110%E5%84%84%E5%B1%80%E9%9D%A2%E3%81%AE%E6%95%99%E5%B8%AB%E3%83%87%E3%83%BC%E3%82%BF%E3%80%81%E6%9C%9F%E9%96%93%E9%99%90%E5%AE%9A%E3%81%A7%E5%85%AC%E9%96%8B/
(*c)-3 クリスマスプレゼントの配布はじめました
 http://yaneuraou.yaneu.com/2017/12/25/%E3%82%AF%E3%83%AA%E3%82%B9%E3%83%9E%E3%82%B9%E3%83%97%E3%83%AC%E3%82%BC%E3%83%B3%E3%83%88%E3%81%AE%E9%85%8D%E5%B8%83%E3%81%AF%E3%81%98%E3%82%81%E3%81%BE%E3%81%97%E3%81%9F/
(*c)-4 月刊教師局面 2018年1月号
 http://yaneuraou.yaneu.com/2018/01/23/%E6%9C%88%E5%88%8A%E6%95%99%E5%B8%AB%E5%B1%80%E9%9D%A2-2018%E5%B9%B41%E6%9C%88%E5%8F%B7/
(*d) https://twitter.com/messiah_ai/status/920236374527053824
(*e) https://twitter.com/ymg_aq/status/940899696389767168
(*f) https://twitter.com/cute_na_piglets/status/944583388874153984
(*g) https://twitter.com/hillbig/status/938910529396936704
(*h) アピール文から読み解くWCSC27の見どころ（技巧編）
 http://qhapaq.hatenablog.com/entry/2017/04/18/210624
(*i) 開発メモ : 角交換に特化した高速化
 http://d.hatena.ne.jp/LS3600/20100117

*前回(SDT5)のアピール文書
 http://denou.jp/tournament2017/img/pr/wandre.pdf