裁判所は量刑を決定するためにアルゴリズムを使用するが、無作為に選ばれた人も同じ結果になる

インターネット上の無作為の人に任せるべきではないことはたくさんあります。船の名前（Boaty McBoatfaceを参照）、医学的診断（Twitterであなたの風邪を肺炎だと思った人全員を参照）、人口統計データに基づいて有罪判決を受けた犯罪者が再犯する可能性があるかどうかを予測すること（この記事を参照）などです。

しかし、 「Science Advances」誌に掲載された新しい研究によれば、私たちはまさにそれを行っているのかもしれない。

私たちのほとんどは無知のまま幸せに暮らしているが、アルゴリズムは私たちの存在の多くの側面を動かしている。銀行ローン、音楽の推薦、表示される広告などは、人間の判断ではなく、数学的な方程式によって決定されることが多い。これは本質的には問題ではない。大量のデータを処理して単一の統計に凝縮する能力は、良い意味で強力になり得る。Spotify が毎週、すべての加入者に個人的に音楽を推薦できるのは、この能力のおかげだ。新しいプレイリストが的外れだったとしても、それはあまり問題ではない。しかし、あるアルゴリズムが裁判官に、近い将来に再犯する可能性が高いと告げたために、5 年ではなく 10 年の懲役刑を宣告されたとしたら、それは少しはインパクトがあるだろう。

裁判官は、有罪判決を受けた犯罪者に関する報告書の一部として再犯スコアを取得することが多く、このスコアが高いほど、その人物が近い将来に再犯する可能性が高いことを示します。このスコアは、裁判官がどの程度の刑期にするかの決定に影響を与えることを目的としています。再犯する可能性が低い人物は社会に対する脅威が少ないため、裁判官は通常、刑期を短くします。また、再犯スコアは公平であるように感じられるため、これらの数字は大きな影響力を持つことがあります。

全米各地の裁判所に販売されているアルゴリズムは、2000年以来、こうした数字を計算してきた。そして、 ProPublicaが、ある特定のシステムが黒人被告に対して偏っていることを示す調査結果を発表するまで、アルゴリズムはほとんど監視も批判もなくそれを行ってきた。COMPASと呼ばれるこのアルゴリズムは、人種ごとにほぼ同じ精度で再犯する可能性のある人物を特定できた。しかし、黒人については約2倍の確率で誤った推測をしていた。COMPASは、再犯しなかった人物を「高リスク」と誤って分類する頻度も、それらの人物についてはほぼ2倍だった。また、COMPASは、その後さらに多くの犯罪を犯した白人受刑者に、誤って「低リスク」の分類を多く割り当てていた。つまり、このシステムは基本的に、黒人犯罪者を悪者に仕立て上げると同時に、白人犯罪者に疑わしい点を有利に扱っているのだ。

これはまさに、アルゴリズムが排除するはずの体系的な人種差別であり、ジュリア・ドレッセルがプロパブリカの記事を読んだときに考えたこととほぼ同じでした。そこで彼女は、当時ドレッセルが学生だったダートマス大学のコンピューターサイエンスの教授、ハニー・ファリドに会いに行きました。コンピューター科学者として、彼らは何かできるかもしれない、おそらくアルゴリズムを修正できるかもしれないと考えました。そこで彼らは努力を重ねましたが、成果は上がりませんでした。

「何をしても、すべてが 55 パーセントの精度で行き詰まってしまいました。これは異常です。通常、より複雑なデータを追加すると、精度が上がることが期待されます。しかし、Julia が何をしても、行き詰まってしまいました。」同じ問題を解こうとしていた他の 4 つのチームも、アルゴリズムが完全に公平であることは数学的に不可能だという結論に達しました。

問題は私たちのアルゴリズムにあるのではなく (ごめんなさい、ホレイショ)、私たちのデータにあります。

そこで彼らは別のアプローチを試みた。「これらのアルゴリズムは本質的に人間の予測よりも優れているという前提があることに気づいた」とドレスルは言う。「しかし、これらのツールが実際に優れていることを証明する研究は見つけられなかった。そこで私たちは自問した。人間の予測の基準は何か？」二人は、人間がこのアルゴリズムとほぼ同じ精度を達成できると直感した。結局のところ、このアルゴリズムが正しいのは65パーセントにすぎないのだ。

ドレスル氏とファリド氏は、世界中の研究者が使っているオンラインツール、Mechanical Turk にたどり着いた。これは奇妙な名前の Amazon サービスで、科学者がアンケートやテストを設定し、ユーザーにお金を払って参加してもらうことができる。これは、基本的に無作為に選ばれた大勢の人々にアクセスして、今回のような研究を行う簡単な方法だ。

COMPAS アルゴリズム全体は、予測を行うために 137 個の特徴を使用します。ドレスルとファリドがランダムに選んだ人間のグループには、性別、年齢、犯罪容疑、犯罪の程度、少年以外の前科、少年の重罪、少年の軽罪の 7 個しかありませんでした。これらの要素のみに基づき、結論を出すためにデータを解釈する方法を指示することなく、462 人のグループに、被告が今後 2 年間に別の犯罪を犯す可能性があると思うかどうかを尋ねました。彼らは、COMPAS アルゴリズムとほぼ同じ精度 (および偏り) で回答しました。

さらに、研究者たちは、元々の 137 の要素のうち、年齢と前科の数という 2 つだけを使って、同じ予測能力に非常に近いものを得ることができることを発見しました。これらは、犯罪者が再犯するかどうか (または、犯罪者が別の犯罪を犯し、再び捕まり、有罪判決を受ける可能性があるかどうか) を決定する 2 つの最大の要因です。

再犯率は、人が犯罪を犯す可能性を直接測定しているように見えるかもしれませんが、実際には、法律を破った人の数を測定する方法はありません。測定できるのは、捕まえた人、そして有罪判決を下した人だけです。ここで、データは私たち自身の体系的な偏見によって混乱します。

「『アルゴリズムに人種は考慮しない』と言うのは簡単です」とファリドは言う。「それはいいことです。しかし、人種の代理となるものは他にもあります」。つまり、有罪判決率だとドレッセルは説明する。「全国規模で見ると、黒人は前科がある可能性が高く、この食い違いが偽陽性と偽陰性のエラー率の原因である可能性が高いのです」と彼女は言う。白人と黒人がまったく同じ犯罪を犯した場合、黒人の方が逮捕され、有罪判決を受け、投獄される可能性が高い。

例を挙げてみましょう。白人と黒人の 2 人の犯罪者が同じ犯罪を犯し、2 人とも刑務所に送られます。同じ 2 人は 1 年後に釈放され、数か月後にそれぞれ別の犯罪を犯します。合理的な定義からすると、2 人とも再犯ですが、黒人の方が再び逮捕され、裁判にかけられ、有罪判決を受ける可能性が高くなります。COMPAS とオンラインの人間の参加者の両方に情報を提供したデータセットは、すでに黒人に対して偏っているため、両方の予測も偏ったものになります。

アルゴリズムに偏りがあるからといって、必ずしも役に立たないというわけではない。しかし、ドレッセル氏とファリド氏は、この分野の他の多くの人々と同様、こうした数字を過信しないよう警告している。

「COMPAS のような複雑で手の込んだブラック ボックスのソフトウェアの場合、裁判官は『オンライン上の 12 人がこの人物は高リスクだと考えている』と言ったときほど、信頼度の高い判断をしないかもしれないという懸念があります」とファリド氏は言う。「分析されていないアルゴリズムを裁判所に販売している商業組織が複数あることに少しは懸念すべきかもしれません。司法省のような機関が、こうしたアルゴリズムを審査する業務に携わるべきかもしれません。それは合理的なことのように思えます」

一つの解決策としては、刑事司法の経験がある人に再犯を予測してもらうことが考えられる。彼らは、インターネット（およびCOMPAS）上の無作為な人々よりも優れた洞察力を持っているかもしれない。実際の専門家が介入して欠陥のあるデータセットの修正を手伝うことができれば、こうした種類のアルゴリズムが役に立つ可能性があるとファリド氏とドレッセル氏は同意している。鍵となるのは、こうしたアルゴリズムを作成する企業がその方法について透明性を保ち、アルゴリズムに潜む限界や偏見を裁判所に率直に伝えることだと彼らは言う。データ処理コンピューターに意思決定を委ねれば、有色人種に対する人間の潜在的な偏見から逃れられると考えるのは合理的に思えるが、そうではない。アルゴリズムは、私たちが何年も犯してきた同じ体系的な間違いを倍増させているだけであり、公平さという誤解を招く見せかけで結果を量産している。

再犯をうまく予測できない可能性は十分にある。とても明白なことのように聞こえるが、忘れられがちだ。「未来を予測するのは本当に難しい」とファリド氏は言う。このアルゴリズムに複雑なデータを追加しても精度が上がらなかったという事実は、そもそも検出すべきシグナルがないということかもしれない。「もしそうだとしたら、予測が非常に難しいものに基づいて人々の生活に影響を与える決定を下しているという事実を慎重に考えるべきだ」と同氏は言う。