こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。
会の概要
以下、イベントページから引用です。
2022年11月のリリース以降、今やその名を聞かない日はないというほど話題になっているChatGPT。 実際に自分で利用したりと、一部では日常で使うようになるほど身近なものとなり、ChatGPTに関する情報をまとめた記事やChatGPTを活用するための勉強会も多く開催されるようになりました。 そこで、エンジニアの学びの場を提供する勉強会を開催してきたForkwellでもLLM（大規模言語モデル）に関するエンジニアのための勉強会を開催します！
これからLLMを用いたプロダクトや新機能を開発するエンジニア、また実際に開発/運用をしているエンジニアの後押しができるような勉強会を目指します。
エンジニアのためのLLM実践ガイドシリーズ 第3回目は、コミュニティプラットフォームの開発を行われているコミューン株式会社よりプロダクトオーナーの久松佑輝氏とエンジニアの松村典裕氏にお越しいただき、ChatGPTを用いたコメント自動生成機能のリリースの舞台裏のお話を伺います。
AIのコミュニティ体験への活用と、その実装にまつわる困難な課題の解決経過についてお話いただきます。機能実装の舞台裏、PoC (Proof of Concept)の段階から精度向上までの過程を詳しく解説いただき、AIの活用におけるリアルな挑戦と成功を共有していただきます。 新しいAI技術の活用に関心がある方、実際の開発プロセスを学びたい方必見です！ モデレーターは第2回から引き続き、株式会社デジタルレシピ 取締役CTOの古川渉一氏です。
どうこの技術をプロダクトに反映させていったのか、プロダクトオーナー・エンジニアの御二方にお話いただきます。
会の様子
コミュニティにおけるAIの活用方法
ユーザーがコミュニティに入って他ユーザーと活発に交流をする仕掛けを作ったり*1、活発に盛り上げ続ける*2ためにAIを活用しているという話がありました。
ChatGPTの登場と会社の動き
ChatGPTが出た際に、プロダクトに対してどのような過程を経て反映していくことを考えていたのか？という話を聴いていきました。
元々は、個人的な興味本位で使っていく段階からスタートしていったそうで、そこから競合の様子を見て生成AIを活用できていないことを確認し、プロダクトにがっつり投資することを決めたそうです。
投資することを決めた後は、高速で仮説検証できるようなチーム体制を整え、3人のみのチームでリリースにこぎつけたということでした。
3人チームでは、
また、なるべく早くリリースすることを優先したため、セキュリティ対応やプライバシーへの配慮が必須な機能は開発を劣後させるといった工夫もされたということです。
プロダクトの言語
サーバーサイドはTSとNode.js(ここでChatGPTとのやり取りは完結している)、フロントエンドはReactで書いているということです。
ChatGPT導入時の工夫
- ストラテジーパターンで実装
- フィーチャーフラグの活用
を実装時には意識したという話でした。
また、プロンプト作成時にはrole : assistantの内容を捏造するようにすることで精度を上げたということです。
ChatGPTの異常な挙動対策
プロンプトをログに出し、単体でAPIコールをして、最後は微調整したというお話がありました。
Q&A
一通りお三方でディスカッションをし終えた後は、視聴者の方からのQA時間がありました。以下、内容と回答を一問一答形式かつ常体で記載していきます。
テストで使ってくれたユーザーの反応は？
はじめは書きっぷりが自分のコメントとぜんぜん違うというフィードバックがあった。その意見を踏まえてユーザーが過去に投稿したコメントを学習させて見ると、だいぶいい感じの反応がもらえるようになった。
また、投稿が長文になっている場合に網羅性が担保された状態でレスポンスが返ってきているのが非常によかった。
一方で、コミュニティごとに色があったときにQAでアンサーを返す際のハルシネーションは改善が必要だという話もあった。
ChatGPT以降に登場したローカルLLMを利用したサービスの開発事例を知りたい
Publicになっているものだと、サイバーエージェントやNECの事例がある。他にもオルツやソフトバンクなども開発しているという話自体は聞く。
LLMは国産ではないほうがいいのか？
何を持って国産というのかが難しいので、一旦日本語メインで学習させたものを国産として回答すると、そもそもコミュニティとしてアメリカが2-3年進んでいるのでドメイン情報は英語があったほうがよいと思う。
対話をメインにしていないサービスが今後出てくると思うがどんなサービスをイメージしているか？
コミュニティの文脈で言えば、荒れそうな投稿はNGとするような監視機能は出てくると思う。
また、新しいプロダクトを作るときのユーザーヒアリングをLLMで完結するようなプロダクトやサンプルソースコードを書くようなプロダクトは今後ますます発展するとともに、情報のレバレッジも効いてくると考えている。
フェイクニュースの危惧と解決方法をどのように考えているか？
Publicになっていないけれど信頼性が高い情報に価値があると思うので、過去の投稿からフェイクニュースかどうかのバリデーションチェックを行うような仕組みを考えている。
今回の機能リリースで生成AIに対しての印象が組織的に変わった部分はあったか？
社内でLLMをどんどん活用する動きが急速に広まった。
Open AIのスーパーアライメントの導入で何が変わるか？
何かが変わるというよりは、より社会的な期待に応えるための話だと思っている。
会全体を通した感想
コミュニティというドメインでどのようにChatGPTを活用しているのか聞くことができて、期待していたような内容が聞けました。
ドメインを絞っても、生成AIの課題や工夫すべきポイントはそこまで大きく変わらないんだなあという気づきを得られたのもよかったです。
