かつてストリートファイターシリーズのゲームデザインを担当したこともあるDavid Sirlin氏が自身のブログでオーバーウォッチのスキルレートシステムに疑問を投げかけています。
※同氏についての経歴が紹介されてる日本語のページがありますが、それによるとMIT卒の超インテリ、天才肌のゲームデザイナーだそうです。
以下、同氏の長いフィードバックのいくつかを端折って書いてあります。スキルレートにおける問題点だけでなく、所謂Elo Hell（魔境）に関する言及も魔境在住の一人としてとても頷ける内容になってます。
Overwatch’s Ranking Point System
オーバーウォッチ開発チームは素晴らしい仕事をした。これは今まで何度も言ってきた。
ただし、現状のランキングシステム（スキルレートシステム）は再考しなければならないだろう。特にランキングの判定にWin/Loss以外の個人のパフォーマンスを加味するようにしたのはとても危険だ。
Elo for Team Games
Elo（イロレーティング）はスタンダードなランキングシステムだ。勝てばポイントを得て、負ければ失う。更に格上の相手を倒せばよりポイントが手に入り、格下に負ければ失うポイントも増える。Eloは本来1対1を想定しており（元はチェスのレーティングシステム）チーム対戦は想定してない。
Eloをチーム対戦で採用するのであれば考慮すべきことが二つある。まず、平均ランキングの低いチームが高いチーム相手に勝てばポイントはより増えるべきである。そして、自身のランキングが自チームの平均より低ければ、勝ったときのポイントは高ランクのチームメイトよりも多く入るべきである。私が知る限りこれはオーバーウォッチでも同様に考慮されており、道理にかなっている。
だが、個人パフォーマンスはどうだろうか？例えば貴方がとても良いプレーをしていたのに間抜けなチームメイトのせいで負けたとしたらどうだろう？良いプレーをしていたのだからポイントの下落は抑えられるべきか？これを考える時は注意しなくてはならない。もし、上記の問いにイエスと答えるなら、少なくとも自分のデキがたまたま悪かった時は、勝った時に得られるポイントが減るということも考えなくてはならない。
個人パフォーマンス云々について語る前に、オーバーウォッチではこういった個人パフォーマンスが本当に考慮されているのか？答えは明らかにイエスだ。以下の例を見ればわかるだろう。
Cloud9のキャリーであるLane “SureFour” Robertsは最初にスキルレート80に達したプレイヤーだ。固定メンバーでスキル認定試合を終えた時の彼のレートは77。彼の実力を考えれば妥当といえる。同チームのサポートであるAdam Eckelは認定マッチ10試合を全て一緒に戦ったが、レートは67だった。同様にタンクのDerrick “reaver” Nowickiは71、もう一人のキャリーは74だった。固定メンバーで戦い続けたにも関わらずスキルレートにはこれだけの格差が生じている。
このケースでチームは全試合同じ6人のメンバーで戦っている。同じ相手、勝率も同じなのに、レートに差がでるということは個人パフォーマンスがスキルレートに大きく影響していることを示すものでもある。他にも要因はあるかもしれないが、個人パフォーマンスによってレートにこれだけの差が生じることはほぼ間違いない。
Microsoft TrueSkill
Eloはチーム対戦でも既に10年前にマイクロソフトがTrueSkillというランクシステムで採用している。TrueSkillでは個人パフォーマンスを意図的に考慮していない。マイクロソフトは、ゲームやプレーの良し悪しの判定方法に関わらず、Win/Loss以外の要素を考慮するシステムは、TrueSkillのようにWin/Lossのみを考慮するシステムに比べて本質的に欠陥があると考えているからだ。プレーの良し悪しを推し測る際に重要なのは、プレイヤーが勝利ないし敗北にどれくらい貢献したのかという点だ。どの程度勝利に貢献したかを判断する上で、Win/Loss値が最も正確な判定基準であるとマイクロソフトは言う。Win/Loss以外の基準を持ち込むのは「エラー」を招くことになるだろう。
エラーを招くだけでなく、レート欲しさにプレイヤーの行動が歪められることがある。例えばもし、「与えたダメージ」がレート判定のひとつの基準だとしたらプレイヤーは「勝利」ではなく「勝利と与ダメージ」に精力を傾けるだろう。さらにもっと悪いことにプレイヤーにサポートヒーローを選ばせにくくする動機を与えることにもなる（実際にこういったことは既にオーバーウォッチ内で起きているように思える）。
ほとんどの場合、どういった判定基準を設けるのか決めることさえ不可能だと思える。ヒーローの役割がヒーラーだとして、実際にヒール量を判定基準に使う訳にはいかないはずだ。なぜならヒールを必要としない上手いプレイヤーがいれば、それだけヒーラーとしてはトータルの回復量が減ることになり不利益を被ることになる。さらにメイのようなキャラクターの場合はもっとやっかいだ。メイのアイスウォールやフリーズを判定基準にしたとして、それが勝敗にどう影響してるのか？私の友人はメイが活躍したかどうかの判定基準は相手チームがメイを罵るチャットをカウントするのが一番だと言っていた。
これ以外にも、キル数が判定基準として使われればチーム内で無用な競争を生む原因にもなる。チーム内の誰かが敵をキルすることは、言い換えれば他の誰かがキルする機会を奪い、レートを上げるチャンスを奪っているのと変わらない。
Elo Hell（魔境）
スキルレートに関連した問題として都市伝説とも言われるElo Hell（魔境）がある。果たして魔境は存在するのか？
自分は魔境の存在はある程度は事実だと考えている。統計的な観点から言えば、いつまでたっても勝率50％を越えることができないのは、結局はその程度の実力だったと言えなくもない。
統計的な考察は理にかなっているが、それはこの際脇に置いておいて、本質を理解するために実際のケースを挙げて考えてみたい。もしあなたがペイロードマップをリーパーでプレーしていたら、フランカーとして相手に気づかれず倒していくのが仕事であって、ペイロードを押すのは仲間の仕事であり、彼らの仕事を容易にするのがリーパーの役目でもある。
もし短時間に死なずに3キルすることができれば、とても効果的にプレーできていると私ならそう思う。ペイロードマップであれば相手チームが3人の状況で残りのチームメイトがペイロードをコントロールしているはずである。
ところが3本の「↑」が画面に表示されるのを期待していたにも関わらず、ペイロードはまったく進んでいない。それどころか相手チームに押し戻されている。おかしいと思ってペイロードを見に行くとそこには相手チームのラインハルトが一人で立っている。応戦しているはずの味方プレイヤーの姿はどこにも見当たらない・・・Welcome to Elo hell.
愚かな味方のプレイヤーはあなたが得たアドバンテージをまったく還元できずにチームは負けた。理不尽である。味方プレイヤーは蝶かなにかを探しにいってたのか、あなたが得たアドバンテージを活かすことに失敗した。こういった状況は他にも容易に想像できる。たとえ良いプレーを続けていても勝率50-50付近から抜け出せない。そういった意味で統計的な問題はさておき、魔境は存在すると言える。
だからといって、こういった問題を解決するために良好な個人パフォーマンスに見返りを与えるというのは、既に述べたとおり問題が生じる。キル数、K/Dレシオ、与ダメージなどが勝利に貢献したものとして、レートに好影響を与えるとなればプレイヤーが歪んだプレーをすることになるのも既に述べた。勝つためだけに戦うのではなく、キルその他を気にしたプレーを評価するのは危険だ。キルプレーを続けてもチームがまったく勝てないのなら、そういったプレーに見返りを与えるのは若干妙な話でもある。
これはあくまでも魔境での話であり、高レート帯のマッチでは、上記リーパーのようにキルを多くとればそれだけ勝利に貢献したと見なしても問題はない。高レートのプレイヤーであれば味方の誰かが得たアドバンテージを還元することは難しくないからだ。味方が出来損ないなら勝利に繋げることは難しい。ようするに、魔境と高レートでは貴方が勝つために求められるプレーが完全に異なる。
オーバーウォッチで魔境を戦うには、時としてベビーシッターのような役割を担う必要がある。こういった状況ではペイロードマッチで味方がペイロードを押せるようにキルを取ることよりも、デスを減らし、大体において自分がペイロードのそばにいることがより重要かもしれない。チームメイトをキャリーする必要性からこういった戦術がとれないこともあるだろう。高レート帯ならそれで問題はなくキャリーに専念すればよい。魔境ではどんなに良いキャリーをしたところで、ダメな味方のせいでそれを勝利に還元できなければ意味がない。不甲斐ないチームがその時に必要としているプレーや役割をこなすことで魔境での勝率は増やすことができる。非常にフラストレーションが溜まることではあるが、これこそが魔境脱出のための近道である。
個人として良いパフォーマンスをしていてもそれが戦術としてポジティブな結果に繋がらなければ、システムが個々のパフォーマンスをレートに加味するのは得策とは言えない。
ブリザードが個人のパフォーマンス結果をスキルレート算出に加味することにした理由は分からないが、私ならそうすべきではないとアドバイスしていただろう。
