今回やったこと TensorFlowのチュートリアルを今回やってみました。 MNISTというかなり有名な数字画像の識別問題をやってみます。 どうやったか？ チュートリアルに倣ってsoftmaxと勾配降下法を使いました。 ミニバッチでランダムにサンプルを選んで学習させ…

DeepQ-Networkとは 一言で言うと多層のQネットワークです。 Qネットワークに隠れ層を追加して多層化したもので、 今回はExperience Replayというアルゴリズムを使って実装していきます。 メモリにステート、アクション、次のステート、次のアクションを記録…

Q-Networkに挑戦してみる 強化学習のQ-NetworkでOpenAI Gymのフローズンレイクに挑戦します。 目標は前回までのQラーニングよりさらにゲームが上手いAIを作ることです。 Q-Networkについて簡単に説明しておきます。 ステートと重みをかけ合わせてQ値を求めま…

ベルマン方程式 前回の続きです。 OpenAI GymのFrozenLake-v0を攻略して行きます。 Qテーブルを更新するのにベルマン方程式を使うので、 まずはベルマン方程式についてお話しします。 Q(s,a) = r + γ(max(Q(s',a'))) Q：行動価値関数 s：state a,：action r…

FrozenLake-v0に挑戦！ フローズンレイクというToy Textゲームに挑戦することにしたよ。 どういうゲームかというのはOpenAIの公式リンクを貼っておくので見て欲しいと思う。 gym.openai.com 簡単にボクからも説明しておく。 まず４×４マスのフィールドをスタ…