AIを外した3問で正答率0.57、最初から自力の人は0.73——1,222名の無作為化試験が映す「答えをもらう」使い方

2026-10-12　AI活用・スキル

練習の途中でAIを取り上げる、という実験

AIを使っているあいだの出力が上がることは、もう多くの人が実感しています。測りにくいのは、その先です。AIがない場面に戻ったとき、自分には何が残っているのか。

ここを無作為化比較試験で測った論文の最新版が、2026年10月3日にarXivで公開されました。タイトルは "AI Assistance Reduces Persistence and Hurts Independent Performance"（Grace Liu、Brian Christian、Tsvetomira Dumbalska、Michiel A. Bakker、Rachit Dubey）。初版は2026年4月6日で、10月3日の版が現時点の最新です。参加者は計1,222名。

手順は単純です。参加者を無作為に2つの群に分けます。一方（AI群）は練習問題を解くあいだChatGPTを使えて、答えを直接聞くことも許されています。もう一方（対照群）は最初から自力で解きます。練習が終わったところで予告なくAIを取り上げ、同じ形式のテストを解かせる。測っているのは、AIがある状態の成績ではなく、外したあとの成績です。

正答率0.57対0.73、飛ばした割合は0.20対0.11

実験1は分数の計算で、分析対象は307名。練習12問のあとにAIを取り上げ、テスト3問を解かせています。

正答率の差は t(305)=−3.64、P<0.001、効果量 d=−0.42。飛ばした割合の差も P=0.031 でした。

実験3は読解問題で、分析対象168名。こちらも同じ向きで、正答率は0.76対0.89、飛ばした割合は0.08対0.01（いずれも P<0.01）。

実験2は実験1と同じ分数の課題を人数を増やして確かめたもので、分析対象585名。差は縮んで正答率0.71対0.77（P=0.020、d=−0.19）、飛ばした割合の差は0.10対0.07で統計的に有意にはなりませんでした。3つの実験で向きは揃い、大きさは揺れている、という読み方になります。

著者が強調しているのは、この差が長期の訓練の結果ではなく、約10分のやり取りのあとに出ているという点です。

分かれ目は「答え」か「ヒント」か

この研究でいちばん実務に効くのは、実験2の内訳のほうだと思います。AI群に使い方を自己申告させた結果が、こうなっています。

同じ「AIを使える群」の中で、対照群を下回ったのは答えを直接もらった層だけでした。ヒントに留めた層は0.76で、最初から自力の0.77とほぼ同じ。そしてAIを使える環境で使わなかった層が0.89と最も高い。

ここは自己申告による後からの分割で、無作為割り付けではありません。どの使い方を選ぶかは本人が決めているので、もともと自力で解ける人がヒントで足りた、という向きの説明も成り立ちます。因果としては読めない数字です。

それでも、ツールが同じで、使えた時間も同じで、使い方の違いだけで並びが入れ替わっているのは見ておく価値があります。差を作ったのはAIの性能ではありませんでした。

この研究が言っていないこと

留保も並べておきます。

• 課題は分数の計算と読解の短い問題です。仕事の成果や収入を測った研究ではありません。
• 「AIを使わないほうがいい」という結論でもありません。AIがある状態では成績は上がります。落ちるのは、外したあとです。
• 実験2では飛ばした割合の差が有意になりませんでした。効果量も d=−0.42、−0.19、−0.42 と幅があります。
• arXivのページに掲載誌や学会の記載はなく、現時点では査読前論文です。追試で数字は動きえます。

自分の仕事でAIが外される場面を数える

仕事でも、AIが使えない場面は残っています。客先での即答、面接、障害対応の初動、相手が同席している打ち合わせ。そこで出る精度と粘りは、この実験のテスト段階に近い条件で測られています。

持ち場の中心だけ、順番を変える。 まず自分の案を3分で書き、そのあとでAIに当てる。この順番にするだけで、使い方は自動的にヒント側へ寄ります。白紙からAIに頼むか、自分の案を叩いてもらうかの違いです。

周辺の作業は、答えをもらって構わない。 フォーマット変換、定型文、議事録の整形。来年も自分で判断したい作業かどうかで分けると、線は引きやすくなります。全部をヒント運用にすると、単に遅くなります。

月に1回、AIなしで1本通す。 下書き、見積、設計のどれでもかまいません。自力の現在地は、使わない日にしか測れません。測ると、AIに任せていい範囲も見えてきます。

飛ばした回数を覚えておく。 この研究で正答率と並んで動いたのは、問題を投げ出す割合でした。難所で手が止まったとき、以前より早く「AIに聞こう」と思うようになっていないか。頻度でも時間でもなく、ここが変化の合図になります。

AIがある前提の出力と、AIがない場面での自力は、別の指標です。前者は毎日の仕事が勝手に証明してくれますが、後者は意識して測らないと見えません。0.57と0.73の差は、能力の差ではなく、測っていなかったことの差に見えます。

← ブログ一覧へ