seasorize
KDDIグループである株式会社medibaの社内カンパニー。沖縄の地でBPO事業を展開。24時間365日体制を活かし、主にWebサイト監視・パトロールに強みを発揮。Momentumとの取り組みでは、ブラックリスト更新のため、膨大な配信リストの目視確認を担う。今回はMomentum案件責任者であり、業界経験の長い、事業推進一部の辻上さまに話を聞いた。
‐‐膨大な配信リストをどうチェックしているのか
毎週800件の配信リストを目視でダブルチェック
辻上さま：毎週Momentumから届く約800件ものリストを5名の担当者で分担し、判定基準と照らし合わせて広告掲載先としてセーフかアウトかを検証しています。リストは多い時で1,000件程度。検証は実際にURLからサイトに訪問し、目視で行っています。どのURLについても、少なくとも2名以上が担当し、ダブルチェック、トリプルチェックを行っています。最終的に私の方で取りまとめて当該週の検証結果をMomentumに報告し、基本的にはここでアウトとされたものがMomentum提供のブラックリストに反映される形です。
判断基準は、アドフラウド、違法ダウンロード、アダルト、グロテスク、炎上など。最近はヘイトスピーチも多いですね。そうした不適切なコンテンツが含まれるサイトかどうかを目視で確認し、セーフ/アウトの判定をしています。
‐‐どのようにクオリティを担保しているのか
主観に頼らないよう、判定基準や判例を資料として蓄積
辻上さま：セーフかアウトか判断する基準は個人の主観によるところが大きいので、その平準化には時間をかけています。まず案件稼働前には、当社の担当者とMomentumの2社で判定基準の擦り合わせを行いました。オペレーションが始まった当初は、リストの確認よりもむしろ認識の擦り合わせにより多くの時間をかけていたくらいです。議論を進め、手順書の版を重ね、詳細な判定基準を資料からも認識できるようにしました。
また、オペレーションを開始してしばらく経っても、判定がまだまだ難しいケースも多々あります。直近で記憶に新しいのは、あるYouTubeチャンネルです。料理動画を主にしたチャンネルだったので私としてはセーフだと判定していたのですが、Momentumに確認したところ、魚を捌く動画が「グロテスク」に該当するので、これはアウトだと。
他にも、内容やタイトルには問題ないものの「サムネイルにベッドに横たわる人物が表示されているため遺体を連想させる」という理由でアウトになったものなど、個人の主観では正確な判定が難しい場面は都度発生します。こうしたケースについては都度Momentumと擦り合わせ、判定やその理由を資料にまとめ、後から社員が検索できるナレッジとしてまとめています。
特殊な例の判定とその理由を資料に蓄積していく
ケーススタディなどで社員のレベルを高い水準で平準化
辻上さま：手順書やナレッジの蓄積によって、メンバー交代が発生しても同じクオリティを担保できています。実は、ナレッジの断絶はBPO業界にはよくある問題でして、本案件ではそうならないよう、特に留意しています。
そのために必要なのはナレッジを資料として用意することだけでなく、そもそも社員のレベルを底上げしておくのも一手です。本案件では私のように業界他社出身でそもそもBPO業務に強い人間に加え、未経験からでも2年以上実践を積んだ社員を担当に回しています。また、当社の特徴的な取り組みにケーススタディがあります。実際のものを模した手順書とチェックシートを用い、新米オペレーターの訓練をしています。教育を重ねることで、経験年数にかかわらず、最低限の業務レベルは担保。メンバーが入れ替わってもクオリティの落ちないチェック体制を実現しています。
‐‐チェックにおいて最も重要なこと
速度よりも正確重視。正確度が落ちない前提でオペレーションを効率化
辻上さま：日々更新が求められるブラックリストの意義を考えれば、より速くたくさんのリストを確認した方が好ましいのはわかります。ただし、効率ばかりを重視したあまり、ブラックと判定すべきものを見逃してしまえば元も子もありません。あくまで本来の目的は信頼のおけるブラックリストをつくること。その意識はメンバーにいつも口すっぱく伝えています。
ですがもちろん、クオリティを担保できる範囲であれば効率化は進めています。たとえばYouTubeチャンネルの判定についてですが、当初はチャンネルの動画一覧の上から24件のサムネイルを確認する手順になっていました。しかし、それではページをスクロールする手間が発生し、時間がかかり過ぎる。多くのYouTubeチャンネルには同系統の動画が並ぶので、12件でも24件でも判定結果に変わりはないはず。ファーストビューに収まる12件のみでも足りるのではないだろうか。seasorizeとしてはそう判断し、Momentumに提案。手順が変更されました。こうした効率化の工夫がメンバー発信で生まれることに、マネージャーの私としても喜びを感じています。
手順書のイメージ。seasorizeの提案で変更が加えられる
そうした効率化を経た今でも、YouTubeチャンネルに関しては1チャンネル最大およそ60秒もの時間をかけて確認しています。やはりある程度の時間と手間はかけておかないと、判定に絶対の自信は持てないですから。
‐‐Momentumとの連携体制について
個別ケースの相談はすばやく行えるよう、オンラインで全メンバーをつなぐ
辻上さま：当社の強みは運用開始までの体制構築です。どのようにすれば間違いなく、素早く、予算内で対応できるか。本案件についても、運用開始前に1ヶ月ほどMomentumと密に協議し、工程のブラッシュアップを進めてまいりました。
運用開始から1年半ほどが経過した現在でも、全担当者をSlackでMomentumとつなげ、個別のケースの判定について直接メンバーからMomentumに相談できる体制を構築しております。多い時では週に20ケースほど相談させていただきました。報連相を欠かさず行うことで、信頼してお任せいただいていると自負しています。
‐‐今後の展望
無視できないマンパワー。今後はスピードをいかに高めるか
辻上さま：今後はさらに効率化を進めていき、1週間で検証できるリスト量を増やし、インターネット広告業界の変化にあわせてスピーディーに対応していけたらと思います。当社の業務が遅れれば、ひいてはMometumのサービス開発や改善の遅れになる。それはつまり、質の高い広告機会の提供が遅れることを意味します。
ただし、何度も説明したとおり、スピードと正確性は矛盾する可能性が高いです。安定したクオリティの供給ができるラインが、今の800件程度のリスト数。これ以上増やすとギリギリになってしまう。では、どうするか。そこで当社が自信を持つ、運用体制構築の出番です。今の運用体制のままでは超えられない限界をどう超えるための、新たな体制を構築しています。アルゴリズムによる機械判定だけでは、広告の品質は守れないのです。最後は人の目で正確な判断を。この取り組みの意義と需要を考え、スピード感は重視しています。今後もリスト数が増えていった時にこそ、当社の強みが発揮されるのではと期待しています。
