セミナーに参加する以前から、僕自身の知識として、行動を起こした後に報酬を与えれば犬は学習してくれることは何となく知っていましたが、田中雅織先生のセミナーで、報酬を与えるタイミングがとても重要であること、2秒以内に報酬を与えないと効果がないことを教えていただきました。
まず、今回のブログのタイトルにある「報酬を2秒以内に与える理由」について述べる前に、記憶や学習の仕組みについて整理してみたいと思います。
ヒトを初めとする動物は考えたり行動したりすると、シナプスという場所を介して脳の神経どうしで情報のやり取りがなされます。この情報のやり取りは神経伝達と呼ばれ、神経伝達物質という分子が使われています。
ヒトやイヌなどの脊椎動物の中枢神経系（脳、脊髄）においては、その主要な神経伝達物質としてグルタミン酸というアミノ酸が使われています。グルタミン酸によって情報のやり取りが盛んに行なわれ続けると、シナプスの結び付きが強化され（シナプス可塑性）、それが記憶や学習という形として脳に残るそうです。
一方、ドーパミンも中枢神経系に存在する神経伝達物質のひとつ。ヒトや動物の報酬学習に関与すると言われていて、行動に対する報酬を与えたタイミングでドーパミンが一過性発火を起こし、直前にグルタミン酸によって活性化されたシナプスを強化する作用があるそうです。
さて、最初に述べた「2秒以内に報酬を与えないと効果がない」という話に戻りますが、この「2秒以内」という理由が、すでに東京大学の研究グループによって科学的に解明されていました。
この研究結果をざっくりと解釈すると、次のようになります。
(1)学習の効果あり
神経細胞にグルタミン酸刺激を与える（行動）
↓
0.3～2秒の間にドーパミン刺激を与える（報酬）
↓
スパインの頭部増大が起きてシナプス結合が強化される（学習成立・条件付け成功）
(2)学習の効果なし
神経細胞にグルタミン酸刺激を与える（行動）
↓
5秒ほど後にドーパミン刺激を与える（報酬）
↓
スパイン頭部の増大は見られず（学習せず・条件付け失敗）
報酬は早すぎても効果がないそうですが、フライングでもしない限りは0.3秒よりも早く報酬を与えることなどできないでしょうから、これからも「2秒以内」を忘れずにトレーニングをしていきたいと思います。
※2022年6月10日 記憶や学習の仕組みについて加筆しました。