こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。
会の概要
以下、イベントページから引用です。
今回のテーマは「自動化と品質の関係性」 楽天株式会社Singh Sonalさま、ASTER井芹さまにご講演いただきます。
Quesを開催して10年になりますが、「テスト自動化」は常に参加者の皆さまの関心の高い分野です。 昨今、テスト自動化に取り組むことは当たり前と言えるほどに浸透してきているかと思います。 テストやその周辺を自動化するのが一般的になったとはいえ、その結果として、何がどのように変化し、成果となったのか？ また、さらに生産性を向上するためにテスト以外で、どのようなことを自動化できるのか？ テストを含む自動化の取り組みがどう品質に影響したか？ 自動化の方法や内容にとどまらず、結果の部分までお話しいただくことで、さらなる学びが得られるのではと考えました。
QAエンジニアやテストエンジニアの方はもちろん、普段は開発をされている方、他社のやり方を学んでみたい方など、 自動化と品質の関係性にご興味のある方であれば、どなたでもご参加いただけます。多くの皆さまのご参加をお待ちしております！
会の様子
Can we automate bug analytics? by Singh Sonalさん
まずはSonalさんから、バグ分析の自動化に取り組んでいる実例を聞いていきました。
Sonalさんの現場では数年で500K以上のバグが様々なDBに溜まっているそうですが、
- JiraやPractiTestをはじめとした様々なツールに起票されたバグをDBに記録する
- 記録されたバグをカテゴリごとに分類する(機能ごとの分類、バグの種別(デグレ化どうかなど)、領域(デバイスなど)ごとの分類...)
といったある程度定量的に評価できる部分は自動化を実施して効率化を図り、なぜなぜ分析など定性的な部分に関しては人間が担当するように分担しているというお話でした。
また、バグ分析は段階的に進化をさせたということで、まずはデータ自体の記録/データの図示...を実施し、そのあとはRCA(Root Cause Analysis)やクォーターごとの比較...を実施し、最後にQoQ comparisionやチケットのドリルダウン、カテゴリごとの分析...を行ったということでした。
完全自動化するのではなく、原因分析など人が得意とするような部分は手動のままにしておくというのは納得感がありましたし、分析を自動化していくにあたって、具体的にどのようなステップを踏んでいくといいのか？というのも整理されていたのがよかったです。
テスト自動化の成果をどう評価し、どう次につなげるか by 井芹 洋輝さん
続いて井芹さんから発表がありました。(資料が発表前に既に公開されていたため、内容の詳細は割愛します。)
まず最初は、テスト自動化によってどうなるのか？の話をしてくれました。
テスト自動化のネガティブな側面/ポジティブな側面それぞれに焦点を当てて自動化の目的を丁寧に紐解いてくれていて非常に良かったのですが、目的をレベル(テスト担当/ツーム/ビジネス)ごとに分けてくれていたのが特によかったです。(相対する相手によって自動化の恩恵やデメリットを意識的に使い分けしやすくなったため)
また、テスト自動化を行うことによる開発スキル向上や、次の施策との連動性を考える重要性というのはこれまで持てていなかった視点だったので、こちらも非常に面白かったです。
次に、テスト自動化の成果をどう評価するのか？の話をしてくれました。
ここでも、前に説明があった目的のレベルと近い話があったのが個人的には良くて、ただ「評価を多面的にしましょう」という話で終わらず、「視座を変えながら(高めながら)評価をしていきましょう」という話に昇華されていたのが学びになりました。
また、自動化の評価指標もテスト同様継続的に見直していく必要があるという部分も、個人的には非常に共感しました。
最後に、テスト自動化をどのように次につなげるのか？という話がありました。
目的の適正化/テストの有効性拡大/テストの内部品質の維持と改善という3ポイントをベースに話してくれたのですが、どのポイントも具体的に語られていて、納得感がある話でした。
特に、品質特性をもとにしながら、テストの内部品質の維持と改善をするために具体的にどんなポイントを意識すればいいのか？という話がされていたのは、非常に面白かったです。
全体を通して、非常に丁寧に整理がなされていて、何度でも聞き直したい発表でした。
会全体を通した感想
今回も学びが多い発表を2本聞くことができて満足でした。
「自動化を始めました」「自動化を始めた結果こんなところで課題が出て工夫が必要でした」という話は聞く機会が増えてきているのですが、自動化を数年レベルのスパンでどう改善/維持していくのか？という話はなかなか聞く機会がまだ少ないので、とっても学びが多かったです。
