MONTE CARLO ES -- UNBIASED DECK ---- Q(s,a) ---- Usable ace Values for staying: 0.63 0.88 0.89 0.89 0.89 0.90 0.93 0.93 0.94 0.89 | 21 0.14 0.63 0.65 0.66 0.67 0.70 0.77 0.79 0.76 0.44 | 20 -0.11 0.39 0.40 0.42 0.44 0.49 0.62 0.59 0.29 -0.02 | 19 -0.38 0.12 0.15 0.18 0.20 0.28 0.40 0.10 -0.18 -0.24 | 18 -0.64 -0.16 -0.11 -0.07 -0.05 0.01 -0.10 -0.38 -0.41 -0.47 | 17 -0.77 -0.29 -0.26 -0.21 -0.17 -0.15 -0.48 -0.52 -0.54 -0.57 | 16 -0.77 -0.29 -0.25 -0.21 -0.17 -0.15 -0.47 -0.51 -0.54 -0.57 | 15 -0.78 -0.30 -0.25 -0.22 -0.16 -0.15 -0.49 -0.50 -0.55 -0.58 | 14 -0.78 -0.29 -0.27 -0.21 -0.16 -0.16 -0.47 -0.51 -0.55 -0.58 | 13 -0.77 -0.29 -0.24 -0.22 -0.17 -0.16 -0.49 -0.50 -0.54 -0.58 | 12 -0.77 -0.30 -0.25 -0.20 -0.17 -0.16 -0.48 -0.52 -0.54 -0.57 | 11 Values for hitting: -0.11 0.24 0.27 0.28 0.30 0.34 0.30 0.23 0.15 0.06 | 21 -0.21 0.18 0.21 0.22 0.25 0.29 0.26 0.19 0.11 -0.06 | 20 -0.29 0.12 0.16 0.18 0.21 0.24 0.22 0.15 0.01 -0.15 | 19 -0.34 0.06 0.10 0.11 0.14 0.19 0.17 0.03 -0.10 -0.21 | 18 -0.39 -0.01 0.03 0.07 0.09 0.13 0.05 -0.08 -0.15 -0.25 | 17 -0.37 -0.02 0.02 0.03 0.07 0.10 0.00 -0.07 -0.15 -0.26 | 16 -0.35 -0.01 0.03 0.07 0.09 0.11 0.04 -0.03 -0.11 -0.24 | 15 -0.33 0.03 0.06 0.08 0.10 0.14 0.08 0.02 -0.07 -0.20 | 14 -0.30 0.05 0.08 0.10 0.13 0.16 0.13 0.05 -0.04 -0.16 | 13 -0.27 0.09 0.10 0.12 0.15 0.19 0.16 0.09 -0.01 -0.13 | 12 0.02 0.37 0.39 0.40 0.41 0.45 0.46 0.40 0.32 0.20 | 11 No useable ace Values for staying: 0.64 0.88 0.89 0.89 0.89 0.90 0.93 0.93 0.94 0.89 | 21 0.14 0.64 0.65 0.66 0.67 0.70 0.78 0.80 0.76 0.44 | 20 -0.11 0.38 0.41 0.42 0.44 0.49 0.62 0.60 0.29 -0.03 | 19 -0.38 0.11 0.15 0.17 0.20 0.29 0.40 0.10 -0.18 -0.24 | 18 -0.64 -0.16 -0.11 -0.08 -0.04 0.01 -0.10 -0.38 -0.42 -0.46 | 17 -0.77 -0.31 -0.25 -0.22 -0.16 -0.15 -0.48 -0.52 -0.55 -0.58 | 16 -0.77 -0.29 -0.25 -0.21 -0.16 -0.16 -0.48 -0.53 -0.54 -0.57 | 15 -0.77 -0.29 -0.25 -0.21 -0.17 -0.16 -0.48 -0.51 -0.54 -0.57 | 14 -0.77 -0.29 -0.25 -0.22 -0.17 -0.15 -0.47 -0.51 -0.54 -0.59 | 13 -0.77 -0.29 -0.25 -0.21 -0.17 -0.15 -0.47 -0.51 -0.54 -0.58 | 12 -0.77 -0.30 -0.25 -0.22 -0.16 -0.15 -0.48 -0.50 -0.55 -0.58 | 11 Values for hitting: -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 | 21 -0.87 -0.85 -0.86 -0.86 -0.86 -0.86 -0.85 -0.85 -0.86 -0.86 | 20 -0.79 -0.73 -0.73 -0.73 -0.73 -0.72 -0.72 -0.71 -0.72 -0.75 | 19 -0.72 -0.61 -0.63 -0.61 -0.62 -0.61 -0.59 -0.59 -0.62 -0.66 | 18 -0.66 -0.53 -0.53 -0.52 -0.53 -0.51 -0.48 -0.50 -0.55 -0.61 | 17 -0.64 -0.48 -0.47 -0.46 -0.45 -0.43 -0.41 -0.45 -0.51 -0.57 | 16 -0.61 -0.42 -0.41 -0.40 -0.39 -0.38 -0.36 -0.41 -0.47 -0.53 | 15 -0.59 -0.35 -0.34 -0.33 -0.32 -0.29 -0.32 -0.36 -0.43 -0.50 | 14 -0.56 -0.31 -0.28 -0.27 -0.26 -0.24 -0.27 -0.33 -0.39 -0.46 | 13 -0.52 -0.26 -0.23 -0.22 -0.19 -0.18 -0.21 -0.27 -0.33 -0.42 | 12 -0.10 0.24 0.26 0.28 0.31 0.34 0.29 0.23 0.16 0.07 | 11 ---- V(s) ---- Usable ace 0.63 0.88 0.89 0.89 0.89 0.90 0.93 0.93 0.94 0.89 | 21 0.14 0.63 0.65 0.66 0.67 0.70 0.77 0.79 0.76 0.44 | 20 -0.11 0.39 0.40 0.42 0.44 0.49 0.62 0.59 0.29 -0.02 | 19 -0.34 0.12 0.15 0.18 0.20 0.28 0.40 0.10 -0.10 -0.21 | 18 -0.39 -0.01 0.03 0.07 0.09 0.13 0.05 -0.08 -0.15 -0.25 | 17 -0.37 -0.02 0.02 0.03 0.07 0.10 0.00 -0.07 -0.15 -0.26 | 16 -0.35 -0.01 0.03 0.07 0.09 0.11 0.04 -0.03 -0.11 -0.24 | 15 -0.33 0.03 0.06 0.08 0.10 0.14 0.08 0.02 -0.07 -0.20 | 14 -0.30 0.05 0.08 0.10 0.13 0.16 0.13 0.05 -0.04 -0.16 | 13 -0.27 0.09 0.10 0.12 0.15 0.19 0.16 0.09 -0.01 -0.13 | 12 0.02 0.37 0.39 0.40 0.41 0.45 0.46 0.40 0.32 0.20 | 11 No useable ace 0.64 0.88 0.89 0.89 0.89 0.90 0.93 0.93 0.94 0.89 | 21 0.14 0.64 0.65 0.66 0.67 0.70 0.78 0.80 0.76 0.44 | 20 -0.11 0.38 0.41 0.42 0.44 0.49 0.62 0.60 0.29 -0.03 | 19 -0.38 0.11 0.15 0.17 0.20 0.29 0.40 0.10 -0.18 -0.24 | 18 -0.64 -0.16 -0.11 -0.08 -0.04 0.01 -0.10 -0.38 -0.42 -0.46 | 17 -0.64 -0.31 -0.25 -0.22 -0.16 -0.15 -0.41 -0.45 -0.51 -0.57 | 16 -0.61 -0.29 -0.25 -0.21 -0.16 -0.16 -0.36 -0.41 -0.47 -0.53 | 15 -0.59 -0.29 -0.25 -0.21 -0.17 -0.16 -0.32 -0.36 -0.43 -0.50 | 14 -0.56 -0.29 -0.25 -0.22 -0.17 -0.15 -0.27 -0.33 -0.39 -0.46 | 13 -0.52 -0.26 -0.23 -0.21 -0.17 -0.15 -0.21 -0.27 -0.33 -0.42 | 12 -0.10 0.24 0.26 0.28 0.31 0.34 0.29 0.23 0.16 0.07 | 11 ---- Policy ---- Usable ace | 21 | 20 | 19 X X X | 18 X X X X X X X X X X | 17 X X X X X X X X X X | 16 X X X X X X X X X X | 15 X X X X X X X X X X | 14 X X X X X X X X X X | 13 X X X X X X X X X X | 12 X X X X X X X X X X | 11 No useable ace | 21 | 20 | 19 | 18 | 17 X X X X X | 16 X X X X X | 15 X X X X X | 14 X X X X X | 13 X X X X X X X | 12 X X X X X X X X X X | 11 Expected gain: -0.047 MONTE CARLO ES -- BIASED DECK ---- Q(s,a) ---- Usable ace Values for staying: 0.63 0.88 0.89 0.89 0.89 0.90 0.93 0.93 0.94 0.88 | 21 0.15 0.64 0.65 0.66 0.67 0.71 0.77 0.80 0.75 0.41 | 20 -0.12 0.39 0.40 0.43 0.44 0.50 0.62 0.59 0.27 -0.04 | 19 -0.37 0.12 0.15 0.18 0.21 0.29 0.40 0.09 -0.20 -0.25 | 18 -0.64 -0.15 -0.12 -0.08 -0.05 0.02 -0.12 -0.40 -0.42 -0.47 | 17 -0.76 -0.29 -0.24 -0.20 -0.16 -0.15 -0.48 -0.52 -0.54 -0.59 | 16 -0.77 -0.29 -0.25 -0.21 -0.17 -0.16 -0.48 -0.53 -0.55 -0.58 | 15 -0.77 -0.29 -0.24 -0.21 -0.17 -0.15 -0.48 -0.52 -0.55 -0.58 | 14 -0.77 -0.29 -0.24 -0.20 -0.17 -0.16 -0.49 -0.52 -0.56 -0.58 | 13 -0.77 -0.30 -0.25 -0.20 -0.16 -0.15 -0.49 -0.51 -0.56 -0.58 | 12 -0.76 -0.28 -0.25 -0.21 -0.15 -0.15 -0.48 -0.52 -0.55 -0.59 | 11 Values for hitting: -0.11 0.25 0.27 0.29 0.31 0.34 0.30 0.22 0.16 0.06 | 21 -0.21 0.20 0.23 0.25 0.27 0.30 0.26 0.20 0.12 -0.04 | 20 -0.28 0.14 0.14 0.18 0.22 0.25 0.23 0.17 0.01 -0.16 | 19 -0.33 0.07 0.10 0.12 0.15 0.20 0.18 0.05 -0.11 -0.22 | 18 -0.40 0.01 0.02 0.06 0.10 0.14 0.05 -0.08 -0.15 -0.26 | 17 -0.39 -0.01 0.01 0.05 0.08 0.10 -0.00 -0.08 -0.17 -0.28 | 16 -0.36 0.01 0.03 0.07 0.10 0.12 0.03 -0.04 -0.12 -0.24 | 15 -0.33 0.03 0.05 0.07 0.11 0.13 0.06 0.01 -0.09 -0.20 | 14 -0.30 0.04 0.08 0.10 0.13 0.15 0.12 0.04 -0.06 -0.18 | 13 -0.27 0.07 0.09 0.12 0.16 0.17 0.16 0.08 -0.02 -0.16 | 12 0.02 0.38 0.39 0.41 0.42 0.45 0.45 0.40 0.30 0.18 | 11 No useable ace Values for staying: 0.64 0.88 0.89 0.89 0.89 0.91 0.93 0.93 0.94 0.88 | 21 0.15 0.64 0.65 0.67 0.67 0.71 0.78 0.79 0.75 0.42 | 20 -0.12 0.39 0.40 0.43 0.44 0.51 0.62 0.59 0.28 -0.03 | 19 -0.38 0.13 0.15 0.18 0.21 0.29 0.40 0.10 -0.20 -0.25 | 18 -0.63 -0.15 -0.11 -0.07 -0.04 0.02 -0.11 -0.39 -0.43 -0.47 | 17 -0.77 -0.28 -0.25 -0.21 -0.16 -0.16 -0.49 -0.51 -0.55 -0.59 | 16 -0.76 -0.29 -0.25 -0.21 -0.16 -0.15 -0.48 -0.51 -0.55 -0.58 | 15 -0.76 -0.29 -0.25 -0.21 -0.16 -0.16 -0.48 -0.52 -0.55 -0.58 | 14 -0.77 -0.29 -0.25 -0.21 -0.15 -0.15 -0.49 -0.51 -0.55 -0.57 | 13 -0.76 -0.29 -0.25 -0.21 -0.16 -0.16 -0.49 -0.51 -0.56 -0.58 | 12 -0.77 -0.30 -0.24 -0.20 -0.16 -0.17 -0.48 -0.52 -0.55 -0.57 | 11 Values for hitting: -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 | 21 -0.86 -0.84 -0.84 -0.84 -0.84 -0.84 -0.83 -0.84 -0.83 -0.84 | 20 -0.78 -0.72 -0.72 -0.72 -0.71 -0.71 -0.72 -0.69 -0.71 -0.73 | 19 -0.71 -0.62 -0.62 -0.61 -0.62 -0.59 -0.58 -0.59 -0.62 -0.66 | 18 -0.67 -0.53 -0.53 -0.52 -0.52 -0.51 -0.48 -0.51 -0.56 -0.61 | 17 -0.65 -0.47 -0.46 -0.45 -0.45 -0.44 -0.42 -0.47 -0.52 -0.58 | 16 -0.62 -0.41 -0.41 -0.40 -0.39 -0.37 -0.38 -0.42 -0.49 -0.54 | 15 -0.59 -0.35 -0.35 -0.35 -0.32 -0.31 -0.33 -0.38 -0.44 -0.51 | 14 -0.55 -0.32 -0.29 -0.28 -0.26 -0.23 -0.28 -0.33 -0.40 -0.47 | 13 -0.52 -0.27 -0.24 -0.22 -0.19 -0.18 -0.22 -0.28 -0.35 -0.44 | 12 -0.12 0.23 0.26 0.29 0.31 0.34 0.30 0.23 0.15 0.05 | 11 ---- V(s) ---- Usable ace 0.63 0.88 0.89 0.89 0.89 0.90 0.93 0.93 0.94 0.88 | 21 0.15 0.64 0.65 0.66 0.67 0.71 0.77 0.80 0.75 0.41 | 20 -0.12 0.39 0.40 0.43 0.44 0.50 0.62 0.59 0.27 -0.04 | 19 -0.33 0.12 0.15 0.18 0.21 0.29 0.40 0.09 -0.11 -0.22 | 18 -0.40 0.01 0.02 0.06 0.10 0.14 0.05 -0.08 -0.15 -0.26 | 17 -0.39 -0.01 0.01 0.05 0.08 0.10 -0.00 -0.08 -0.17 -0.28 | 16 -0.36 0.01 0.03 0.07 0.10 0.12 0.03 -0.04 -0.12 -0.24 | 15 -0.33 0.03 0.05 0.07 0.11 0.13 0.06 0.01 -0.09 -0.20 | 14 -0.30 0.04 0.08 0.10 0.13 0.15 0.12 0.04 -0.06 -0.18 | 13 -0.27 0.07 0.09 0.12 0.16 0.17 0.16 0.08 -0.02 -0.16 | 12 0.02 0.38 0.39 0.41 0.42 0.45 0.45 0.40 0.30 0.18 | 11 No useable ace 0.64 0.88 0.89 0.89 0.89 0.91 0.93 0.93 0.94 0.88 | 21 0.15 0.64 0.65 0.67 0.67 0.71 0.78 0.79 0.75 0.42 | 20 -0.12 0.39 0.40 0.43 0.44 0.51 0.62 0.59 0.28 -0.03 | 19 -0.38 0.13 0.15 0.18 0.21 0.29 0.40 0.10 -0.20 -0.25 | 18 -0.63 -0.15 -0.11 -0.07 -0.04 0.02 -0.11 -0.39 -0.43 -0.47 | 17 -0.65 -0.28 -0.25 -0.21 -0.16 -0.16 -0.42 -0.47 -0.52 -0.58 | 16 -0.62 -0.29 -0.25 -0.21 -0.16 -0.15 -0.38 -0.42 -0.49 -0.54 | 15 -0.59 -0.29 -0.25 -0.21 -0.16 -0.16 -0.33 -0.38 -0.44 -0.51 | 14 -0.55 -0.29 -0.25 -0.21 -0.15 -0.15 -0.28 -0.33 -0.40 -0.47 | 13 -0.52 -0.27 -0.24 -0.21 -0.16 -0.16 -0.22 -0.28 -0.35 -0.44 | 12 -0.12 0.23 0.26 0.29 0.31 0.34 0.30 0.23 0.15 0.05 | 11 ---- Policy ---- Usable ace | 21 | 20 | 19 X X X | 18 X X X X X X X X X X | 17 X X X X X X X X X X | 16 X X X X X X X X X X | 15 X X X X X X X X X X | 14 X X X X X X X X X X | 13 X X X X X X X X X X | 12 X X X X X X X X X X | 11 No useable ace | 21 | 20 | 19 | 18 | 17 X X X X X | 16 X X X X X | 15 X X X X X | 14 X X X X X | 13 X X X X X X X | 12 X X X X X X X X X X | 11 Expected gain: -0.043 Q-LEARNING -- UNBIASED DECK ---- Q(s,a) ---- Usable ace Values for staying: 0.64 0.88 0.88 0.89 0.89 0.90 0.92 0.93 0.94 0.89 | 21 0.15 0.64 0.65 0.66 0.67 0.70 0.77 0.79 0.76 0.44 | 20 -0.12 0.39 0.40 0.42 0.44 0.49 0.61 0.59 0.29 -0.02 | 19 -0.38 0.13 0.15 0.18 0.20 0.29 0.40 0.11 -0.20 -0.22 | 18 -0.65 -0.14 -0.09 -0.05 -0.06 0.00 -0.12 -0.39 -0.41 -0.47 | 17 -0.76 -0.31 -0.26 -0.22 -0.15 -0.12 -0.47 -0.51 -0.54 -0.60 | 16 -0.77 -0.30 -0.22 -0.20 -0.16 -0.17 -0.49 -0.50 -0.51 -0.59 | 15 -0.79 -0.29 -0.27 -0.22 -0.16 -0.15 -0.50 -0.49 -0.56 -0.58 | 14 -0.78 -0.30 -0.26 -0.19 -0.17 -0.10 -0.48 -0.49 -0.55 -0.58 | 13 -0.78 -0.30 -0.28 -0.22 -0.22 -0.19 -0.49 -0.50 -0.55 -0.59 | 12 -0.76 -0.31 -0.25 -0.22 -0.17 -0.12 -0.47 -0.51 -0.52 -0.57 | 11 Values for hitting: -0.11 0.24 0.26 0.28 0.30 0.33 0.30 0.22 0.14 0.06 | 21 -0.22 0.19 0.20 0.24 0.25 0.29 0.28 0.21 0.13 -0.04 | 20 -0.28 0.12 0.14 0.18 0.20 0.24 0.23 0.16 0.01 -0.14 | 19 -0.34 0.07 0.09 0.11 0.14 0.20 0.17 0.05 -0.10 -0.20 | 18 -0.40 -0.00 0.03 0.06 0.09 0.13 0.05 -0.07 -0.15 -0.25 | 17 -0.38 -0.02 0.01 0.04 0.07 0.10 -0.00 -0.06 -0.15 -0.26 | 16 -0.35 0.00 0.03 0.06 0.09 0.12 0.04 -0.03 -0.11 -0.22 | 15 -0.33 0.02 0.06 0.08 0.11 0.14 0.08 0.02 -0.07 -0.19 | 14 -0.30 0.05 0.07 0.10 0.13 0.16 0.12 0.05 -0.03 -0.16 | 13 -0.27 0.08 0.10 0.12 0.15 0.18 0.16 0.10 -0.00 -0.12 | 12 0.01 0.37 0.38 0.41 0.42 0.46 0.46 0.40 0.32 0.20 | 11 No useable ace Values for staying: 0.64 0.88 0.88 0.89 0.89 0.90 0.93 0.93 0.94 0.89 | 21 0.14 0.64 0.65 0.66 0.68 0.71 0.77 0.79 0.75 0.43 | 20 -0.11 0.39 0.40 0.42 0.43 0.49 0.62 0.59 0.29 -0.02 | 19 -0.38 0.12 0.14 0.18 0.20 0.28 0.40 0.11 -0.18 -0.24 | 18 -0.64 -0.15 -0.12 -0.08 -0.04 0.01 -0.11 -0.38 -0.42 -0.47 | 17 -0.78 -0.30 -0.25 -0.22 -0.17 -0.15 -0.48 -0.51 -0.56 -0.58 | 16 -0.77 -0.30 -0.25 -0.22 -0.17 -0.16 -0.48 -0.53 -0.54 -0.57 | 15 -0.76 -0.30 -0.26 -0.21 -0.16 -0.15 -0.49 -0.51 -0.57 -0.58 | 14 -0.77 -0.29 -0.25 -0.21 -0.17 -0.16 -0.47 -0.53 -0.54 -0.59 | 13 -0.77 -0.29 -0.25 -0.21 -0.17 -0.16 -0.48 -0.51 -0.55 -0.59 | 12 -0.79 -0.25 -0.26 -0.23 -0.17 -0.09 -0.49 -0.48 -0.56 -0.58 | 11 Values for hitting: -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 | 21 -0.87 -0.85 -0.85 -0.87 -0.87 -0.85 -0.85 -0.84 -0.85 -0.85 | 20 -0.79 -0.73 -0.71 -0.72 -0.72 -0.70 -0.70 -0.70 -0.71 -0.75 | 19 -0.71 -0.63 -0.62 -0.61 -0.63 -0.63 -0.56 -0.59 -0.61 -0.68 | 18 -0.67 -0.55 -0.54 -0.54 -0.53 -0.50 -0.49 -0.50 -0.54 -0.60 | 17 -0.64 -0.47 -0.49 -0.45 -0.43 -0.41 -0.42 -0.45 -0.51 -0.57 | 16 -0.61 -0.43 -0.40 -0.40 -0.38 -0.38 -0.37 -0.41 -0.47 -0.54 | 15 -0.59 -0.37 -0.36 -0.35 -0.32 -0.31 -0.32 -0.37 -0.43 -0.50 | 14 -0.55 -0.31 -0.28 -0.27 -0.25 -0.24 -0.27 -0.32 -0.39 -0.46 | 13 -0.52 -0.25 -0.24 -0.23 -0.19 -0.17 -0.21 -0.27 -0.34 -0.42 | 12 -0.10 0.24 0.26 0.28 0.31 0.33 0.29 0.23 0.16 0.06 | 11 ---- V(s) ---- Usable ace 0.64 0.88 0.88 0.89 0.89 0.90 0.92 0.93 0.94 0.89 | 21 0.15 0.64 0.65 0.66 0.67 0.70 0.77 0.79 0.76 0.44 | 20 -0.12 0.39 0.40 0.42 0.44 0.49 0.61 0.59 0.29 -0.02 | 19 -0.34 0.13 0.15 0.18 0.20 0.29 0.40 0.11 -0.10 -0.20 | 18 -0.40 -0.00 0.03 0.06 0.09 0.13 0.05 -0.07 -0.15 -0.25 | 17 -0.38 -0.02 0.01 0.04 0.07 0.10 -0.00 -0.06 -0.15 -0.26 | 16 -0.35 0.00 0.03 0.06 0.09 0.12 0.04 -0.03 -0.11 -0.22 | 15 -0.33 0.02 0.06 0.08 0.11 0.14 0.08 0.02 -0.07 -0.19 | 14 -0.30 0.05 0.07 0.10 0.13 0.16 0.12 0.05 -0.03 -0.16 | 13 -0.27 0.08 0.10 0.12 0.15 0.18 0.16 0.10 -0.00 -0.12 | 12 0.01 0.37 0.38 0.41 0.42 0.46 0.46 0.40 0.32 0.20 | 11 No useable ace 0.64 0.88 0.88 0.89 0.89 0.90 0.93 0.93 0.94 0.89 | 21 0.14 0.64 0.65 0.66 0.68 0.71 0.77 0.79 0.75 0.43 | 20 -0.11 0.39 0.40 0.42 0.43 0.49 0.62 0.59 0.29 -0.02 | 19 -0.38 0.12 0.14 0.18 0.20 0.28 0.40 0.11 -0.18 -0.24 | 18 -0.64 -0.15 -0.12 -0.08 -0.04 0.01 -0.11 -0.38 -0.42 -0.47 | 17 -0.64 -0.30 -0.25 -0.22 -0.17 -0.15 -0.42 -0.45 -0.51 -0.57 | 16 -0.61 -0.30 -0.25 -0.22 -0.17 -0.16 -0.37 -0.41 -0.47 -0.54 | 15 -0.59 -0.30 -0.26 -0.21 -0.16 -0.15 -0.32 -0.37 -0.43 -0.50 | 14 -0.55 -0.29 -0.25 -0.21 -0.17 -0.16 -0.27 -0.32 -0.39 -0.46 | 13 -0.52 -0.25 -0.24 -0.21 -0.17 -0.16 -0.21 -0.27 -0.34 -0.42 | 12 -0.10 0.24 0.26 0.28 0.31 0.33 0.29 0.23 0.16 0.06 | 11 ---- Policy ---- Usable ace | 21 | 20 | 19 X X X | 18 X X X X X X X X X X | 17 X X X X X X X X X X | 16 X X X X X X X X X X | 15 X X X X X X X X X X | 14 X X X X X X X X X X | 13 X X X X X X X X X X | 12 X X X X X X X X X X | 11 No useable ace | 21 | 20 | 19 | 18 | 17 X X X X X | 16 X X X X X | 15 X X X X X | 14 X X X X X | 13 X X X X X X X | 12 X X X X X X X X X X | 11 Expected gain: -0.047 Q-LEARNING -- BIASED DECK ---- Q(s,a) ---- Usable ace Values for staying: 0.63 0.88 0.88 0.89 0.89 0.90 0.93 0.93 0.94 0.88 | 21 0.14 0.64 0.65 0.66 0.67 0.71 0.78 0.79 0.76 0.42 | 20 -0.11 0.39 0.41 0.43 0.45 0.50 0.62 0.60 0.27 -0.04 | 19 -0.35 0.13 0.16 0.18 0.20 0.29 0.40 0.10 -0.20 -0.26 | 18 -0.60 -0.18 -0.08 -0.09 -0.01 0.03 -0.10 -0.40 -0.43 -0.48 | 17 -0.77 -0.29 -0.26 -0.19 -0.18 -0.19 -0.50 -0.49 -0.56 -0.57 | 16 -0.77 -0.29 -0.25 -0.19 -0.14 -0.20 -0.51 -0.52 -0.54 -0.60 | 15 -0.78 -0.27 -0.24 -0.23 -0.14 -0.16 -0.46 -0.51 -0.56 -0.58 | 14 -0.76 -0.28 -0.22 -0.21 -0.16 -0.18 -0.50 -0.53 -0.54 -0.55 | 13 -0.77 -0.29 -0.27 -0.20 -0.15 -0.13 -0.47 -0.52 -0.55 -0.59 | 12 -0.77 -0.29 -0.27 -0.22 -0.14 -0.13 -0.50 -0.54 -0.55 -0.57 | 11 Values for hitting: -0.10 0.24 0.26 0.29 0.31 0.34 0.31 0.23 0.15 0.07 | 21 -0.21 0.19 0.21 0.24 0.27 0.29 0.25 0.20 0.12 -0.04 | 20 -0.27 0.12 0.15 0.18 0.22 0.24 0.23 0.16 0.01 -0.16 | 19 -0.34 0.08 0.10 0.13 0.15 0.19 0.19 0.04 -0.11 -0.21 | 18 -0.40 0.00 0.03 0.06 0.09 0.13 0.05 -0.08 -0.16 -0.26 | 17 -0.38 -0.02 0.00 0.05 0.08 0.10 -0.01 -0.08 -0.16 -0.27 | 16 -0.36 -0.00 0.03 0.06 0.09 0.11 0.02 -0.04 -0.12 -0.24 | 15 -0.33 0.02 0.05 0.08 0.11 0.14 0.07 0.00 -0.09 -0.21 | 14 -0.30 0.05 0.07 0.10 0.14 0.16 0.11 0.04 -0.05 -0.18 | 13 -0.27 0.08 0.10 0.13 0.15 0.19 0.15 0.08 -0.01 -0.15 | 12 0.02 0.37 0.39 0.41 0.43 0.46 0.46 0.40 0.32 0.18 | 11 No useable ace Values for staying: 0.64 0.88 0.89 0.89 0.89 0.91 0.93 0.93 0.94 0.88 | 21 0.14 0.64 0.65 0.66 0.67 0.71 0.78 0.80 0.75 0.42 | 20 -0.12 0.38 0.41 0.42 0.44 0.51 0.62 0.59 0.28 -0.04 | 19 -0.38 0.12 0.15 0.18 0.20 0.29 0.41 0.09 -0.19 -0.25 | 18 -0.64 -0.15 -0.11 -0.07 -0.04 0.02 -0.11 -0.39 -0.42 -0.47 | 17 -0.76 -0.29 -0.25 -0.20 -0.16 -0.15 -0.50 -0.51 -0.55 -0.58 | 16 -0.77 -0.28 -0.25 -0.20 -0.16 -0.16 -0.49 -0.53 -0.55 -0.59 | 15 -0.77 -0.29 -0.25 -0.21 -0.16 -0.15 -0.48 -0.51 -0.55 -0.56 | 14 -0.78 -0.29 -0.24 -0.20 -0.16 -0.15 -0.49 -0.52 -0.55 -0.57 | 13 -0.77 -0.30 -0.27 -0.20 -0.16 -0.15 -0.49 -0.51 -0.54 -0.60 | 12 -0.77 -0.25 -0.23 -0.22 -0.15 -0.15 -0.53 -0.53 -0.55 -0.61 | 11 Values for hitting: -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 -1.00 | 21 -0.86 -0.84 -0.85 -0.84 -0.82 -0.84 -0.84 -0.82 -0.82 -0.84 | 20 -0.79 -0.72 -0.72 -0.73 -0.72 -0.71 -0.70 -0.69 -0.71 -0.73 | 19 -0.72 -0.62 -0.61 -0.62 -0.60 -0.62 -0.59 -0.55 -0.62 -0.66 | 18 -0.67 -0.54 -0.52 -0.54 -0.50 -0.50 -0.48 -0.50 -0.56 -0.60 | 17 -0.65 -0.46 -0.46 -0.47 -0.46 -0.43 -0.41 -0.46 -0.51 -0.59 | 16 -0.62 -0.40 -0.39 -0.41 -0.39 -0.37 -0.38 -0.42 -0.48 -0.55 | 15 -0.59 -0.36 -0.35 -0.35 -0.32 -0.31 -0.33 -0.38 -0.44 -0.51 | 14 -0.56 -0.32 -0.31 -0.27 -0.26 -0.24 -0.28 -0.33 -0.40 -0.47 | 13 -0.52 -0.26 -0.24 -0.21 -0.21 -0.18 -0.22 -0.28 -0.35 -0.44 | 12 -0.10 0.24 0.26 0.29 0.31 0.34 0.30 0.22 0.16 0.05 | 11 ---- V(s) ---- Usable ace 0.63 0.88 0.88 0.89 0.89 0.90 0.93 0.93 0.94 0.88 | 21 0.14 0.64 0.65 0.66 0.67 0.71 0.78 0.79 0.76 0.42 | 20 -0.11 0.39 0.41 0.43 0.45 0.50 0.62 0.60 0.27 -0.04 | 19 -0.34 0.13 0.16 0.18 0.20 0.29 0.40 0.10 -0.11 -0.21 | 18 -0.40 0.00 0.03 0.06 0.09 0.13 0.05 -0.08 -0.16 -0.26 | 17 -0.38 -0.02 0.00 0.05 0.08 0.10 -0.01 -0.08 -0.16 -0.27 | 16 -0.36 -0.00 0.03 0.06 0.09 0.11 0.02 -0.04 -0.12 -0.24 | 15 -0.33 0.02 0.05 0.08 0.11 0.14 0.07 0.00 -0.09 -0.21 | 14 -0.30 0.05 0.07 0.10 0.14 0.16 0.11 0.04 -0.05 -0.18 | 13 -0.27 0.08 0.10 0.13 0.15 0.19 0.15 0.08 -0.01 -0.15 | 12 0.02 0.37 0.39 0.41 0.43 0.46 0.46 0.40 0.32 0.18 | 11 No useable ace 0.64 0.88 0.89 0.89 0.89 0.91 0.93 0.93 0.94 0.88 | 21 0.14 0.64 0.65 0.66 0.67 0.71 0.78 0.80 0.75 0.42 | 20 -0.12 0.38 0.41 0.42 0.44 0.51 0.62 0.59 0.28 -0.04 | 19 -0.38 0.12 0.15 0.18 0.20 0.29 0.41 0.09 -0.19 -0.25 | 18 -0.64 -0.15 -0.11 -0.07 -0.04 0.02 -0.11 -0.39 -0.42 -0.47 | 17 -0.65 -0.29 -0.25 -0.20 -0.16 -0.15 -0.41 -0.46 -0.51 -0.58 | 16 -0.62 -0.28 -0.25 -0.20 -0.16 -0.16 -0.38 -0.42 -0.48 -0.55 | 15 -0.59 -0.29 -0.25 -0.21 -0.16 -0.15 -0.33 -0.38 -0.44 -0.51 | 14 -0.56 -0.29 -0.24 -0.20 -0.16 -0.15 -0.28 -0.33 -0.40 -0.47 | 13 -0.52 -0.26 -0.24 -0.20 -0.16 -0.15 -0.22 -0.28 -0.35 -0.44 | 12 -0.10 0.24 0.26 0.29 0.31 0.34 0.30 0.22 0.16 0.05 | 11 ---- Policy ---- Usable ace | 21 | 20 | 19 X X X | 18 X X X X X X X X X X | 17 X X X X X X X X X X | 16 X X X X X X X X X X | 15 X X X X X X X X X X | 14 X X X X X X X X X X | 13 X X X X X X X X X X | 12 X X X X X X X X X X | 11 No useable ace | 21 | 20 | 19 | 18 | 17 X X X X | 16 X X X X X | 15 X X X X X | 14 X X X X X | 13 X X X X X X X | 12 X X X X X X X X X X | 11 Expected gain: -0.043