こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。
会の概要
以下、イベントページから引用です。
2022年11月、OpenAIによってChatGPTが発表されて以降、対抗策としてGoogleが『bard』という生成AIを開発するなど、生成AIの開発競争が加速し、サービスにchatgptを組み込んだ食べログなど、様々な企業が生成AIを自社のサービスへの組み込みに挑戦し始めています。
それらの登場により、一見生成AIの活用が進み始めたかと思いきや、まだまだお試し段階の話題作りのための機能が多く、実際のビジネスの現場に活用されているかといわれるとそうではありません。
GMOリサーチの調査によると、生成AIの業務利用経験がある人の数は29.5%、日本ではおよそ1/3の10.7%となっています。 また、生成AIが企業に与える影響をチャンスと回答する割合も、アメリカの約半数となっています。
このような状況では、生成AIへの関心及び、利活用により、今後日本とアメリカの経済格差がさらに広まってしまう可能性が高いといわざるを得ません。
JDLA Generative AI Test 2023#2開催決定を記念し、本イベントでは同試験に参画されている生成AI分野のトップランナーたちにより、パネルディスカッション形式で生成AIを企業で活用するための注意点やヒント、事例まで語ってもらいます。
会の様子
パネルディスカッション1 技術：「生成AI活用のために最低限抑えておくべき基礎知識と最新動向」
最新LLMのすごい点
自然言語で指示できる汎用性(≒インコンテキストラーニング)、流暢さ、zero shotでも高い精度が出る(例えば英語でほとんど学習しているのに日本語が流暢)が挙げられるということでした。
なお、なんでこのような性能が出ているのかは分からないのも面白いところだというところで、仮説としてはモデルの複雑さに伴う進化や圧倒的なパラメータ数などが考えられるということでした。
技術動向、何を注目すべき？
色々ありますが、画像や音声などマルチモーダルモデル、ドメイン適応、専門的なマルチプルLLM、学習データの質(小さい学習で高い精度を上げる)の動向は注目しておくとよいという話がありました。
また、研究者の方々は生成AIを利用したことによって出てくる課題ドリブンで解決すべき技術動向を考えているので、ビジネスニーズに着目することで出てくる課題にフォーカスしていくと注目技術がわかるということでした。
各種用途で性能を上げる方法
お手軽にできるプロンプトエンジニアリングと少量で良いので高品質なデータを用いるファインチューニングが主に挙げられるということでした。
また、プロンプトエンジニアリングとファインチューニングを派閥として捉える向きもありますが、それらは競合するものではなく、機動性と技術力のバランスを踏まえて考えていくものだという意見も出ていました。
モデル事情
ChatGPTのモデル以外にも多数のモデルが出ていますが、
- ゼロから作る/もとからあるモデルをチューニングする
- 汎用LLM/英語->日本に適応するモデル/ドメイン適応モデル
といった分類の仕方ができるということでした。
パネルディスカッション2 利活用：「生成AI活用のための可能性と活用事例および使い方」
まず、ロールやタスクを決めて手前に高品質のプロンプトを書くのが基本であるという話から入っていきました。
また、精度を同じプロンプトでよくしていく方法として、一度出してきたプロンプトに対して、「今のプロンプトは60点です。このプロンプトを100点にするためには何が足りていないですか？100点にしてみてください」とすると、精度が必ずよくなるということでした。(プログラムで無限ループするのもおすすめ)
また、人によって得点が変わりがちなテストの採点でも活用していこうと考えているそうです。*1
他にも、実装が複雑なプログラムの中身を理解してもらってdummy APIを返すような方法もあるということでした。
パネルディスカッション3 リスク：「生成AI活用の促進のために抑えて置くべきリスクと対策」
生成AIのリスク
経営者視点だと、対象とするサービスを利用する人が一般人だった場合、法規制以外のリスクマネジメント(具体的には倫理的観点)が重要になってくると考えられるというお話がありました。
また、海外の規制動向に注目しておくことで、生成AIのリスクはキャッチアップできるという議論もありました。
意外と知られていないリスク
プロンプトインジェクション、バックドアが探せないことによるリスク、性能評価をAIで行う際にどのようにプロンプトを作ったりテストしていくのか？などは、意外とどうするか具体的に検討されていないリスクだという話がありました。
会全体を通した感想
幅広いテーマでしたが、パネルディスカッションを中心に、エキスパートの人たちがいい感じに深ぼってくれたので、面白く聞くことができました。
見慣れたテイストのスライドが出ていてびっくりしました笑
*1:JDLA Generative AI Test 2023では試行錯誤の末、生成AIが採点できるようにした
