初めまして、SWETの坂本です。先日行われたDeNA TechCon 2018のBlueStageにて、SWETの取り組み内容についての発表を行いました。発表資料は以下になります。

SWETの取り組むImage Based Testing from DeNA

発表内容

今回の発表ではSWETの具体的な取り組みとして、"画像"が絡むようなテスティングに関する2つの取り組みについて、前後半に分けて紹介しました。

前半の発表では、SWETで開発を行っている、WebアプリのVisual Regression Testを支えるクローラーについてお話ししました。
クローリングの高速化のための並列化の方法、Visual Regressionに使うためのスクリーンショットの取り方のテクニックなどについて述べました。また、単純なクローラでは突破することができない登録フォームなどに対応するために、機械学習の活用を検討している状況についても発表しました。

後半の発表では、テンプレートマッチング（画像処理）を使った自動化のツラミを低減するためにSWETで開発しているサービス「ExMachina」についてお話ししました。
ExMachinaの基本的なアイデアは、「ページ情報」という形でテスト用のイメージ素材を管理することにより、WebやNativeアプリと同様にセマンティックな情報を利用してUIテストの自動化が行えることです。発表ではその基本的なコンセプトを共有し、ExMachinaを使った自動化の処理の流れ、ExMachinaのクローラーへの応用などについて説明しました。