テスト品質のばらつきをなくす標準化の始め方

テスト品質のばらつき

テストにお悩みの方へ

😢開発リソースが足りない...
😢リリース直前だけどテストの余裕がない
😢開発コストを抑えたい

上記のようなお悩みに対して、テスト代行サービスを運営しています。まずは無料お問い合わせください。

前の案件では拾えていたはずのバグが、今回はすり抜けてリリース後に発覚する。担当者が代わっただけで、どこまでテストするかの感覚が変わる。こうしたテスト品質のばらつきに、心当たりのある受託開発PMは少なくないはずです。

ここで一つだけ切り分けておきます。属人化が「作業が特定の人に依存している状態」を指すのに対し、ばらつきは「チームに共通の標準がない状態」を指します。人の問題と標準の問題は重なりつつも別物で、本記事は後者、つまり標準側を扱います。

問題は、個別のバグそのものよりも「毎回のリリース品質が読めない」ことにあります。品質が読めなければ、上長や顧客に「今回は大丈夫です」と根拠を持って言えません。説明責任を果たせないまま、リリースのたびに祈るような気持ちになります。

この記事では、まず症状を言語化し、次に原因を構造として診断します。そのうえで、最小限から始める標準化の順番と、リソースが足りないときの選択肢までを順番に示します。読み終えたとき、明日どこから手をつけるかが具体的に見えている状態を目指します。

目次

テスト品質のばらつきとは|案件・担当・時期で揃わない症状

まず症状を言葉にします。同じチーム、同じサービスであっても、テストの結果は次の3つの軸で揺れます。どれか一つではなく、これらが組み合わさって現れるのが実務の厄介なところです。

  • 案件軸: プロジェクトが変わると、テストの深さや観点の数が変わる
  • 担当軸: レビュアーやテスターが代わると、拾えるバグの種類が変わる
  • 時期軸: 繁忙期とそうでない時期で、かけられる工数と丁寧さが変わる

たとえば、繁忙期に入った案件で、経験の浅いメンバーが担当し、しかも仕様変更が続いた——この3軸が悪い方向に重なると、品質は一気に崩れます。逆に、余裕のある時期にベテランが丁寧に見た案件だけが「うちの実力」だと錯覚すると、平均の低さを見誤ります。大事なのは、良かったときではなく、条件が重なって悪化したときの品質を基準に考えることです。

顧客から見れば、どの案件も同じ看板から出てきた成果物です。前回は丁寧だったのに今回は雑だった、という体験は、担当者の違いではなくチームそのものへの不信に変わります。ばらつきの怖さは、一度の失敗が単発で終わらず、これまで積み上げた信頼まで巻き込んで削っていく点にあります。

この揺れが具体的に現れるのが、次の3つの成果物です。観点(何をどこまで見るか)、基準(どこで合格・完了とするか)、成果物の型(テストケースやエビデンスの書式)。この3つが人や案件ごとにバラバラだと、品質は毎回ふりだしに戻ります。せっかく前回の案件で得た学びが、次の案件に引き継がれないのです。

テスト品質のばらつきは「たまたま今回のバグが多かった」という運の問題ではなく、揃えるべき土台が揃っていないという構造の問題です。ここを取り違えると、個人の頑張りで解決しようとして疲弊します。頑張りは再現しませんが、仕組みは再現します。

先に述べたとおり、これは属人化とも重なりますが同一ではありません。属人化は「その人しかできない」という人依存の問題、ばらつきは「基準を共有していない」という標準の問題です。両者は根が近く、標準を整えると属人化も和らぎますが、逆に人依存そのものを解きほぐすには別のアプローチが要ります。

人依存を層ごとに分解する視点は、属人化を4つの層で分解する記事で補完的に扱っています。本記事は標準側に集中します。

品質とは何かをここで確認しておきます。布施昌弘ほか『ソフトウェアテストの教科書』では、品質を「ユーザーの要求や価値を満たすこと」と位置づけ、その定義の背景としてクロスビーやワインバーグの品質観が引かれています。つまり品質は担当者の主観ではなく、要求に照らして測るべきものだという立場です。

ばらつきの是正とは、この「要求に照らす物差し」をチームで共有していく作業にほかなりません。物差しが人ごとに違えば、測った結果がそろわないのは当然です。

自分のチームがどの程度ばらついているか、まず次の7項目で診断してみてください。感覚ではなく、具体的な場面を思い出しながらチェックすると精度が上がります。

  • [ ] 案件が変わると、テスト観点をゼロから考え直している
  • [ ] 「どこまでテストすれば完了か」の基準が人によって違う
  • [ ] バグかどうかの合否判定が、担当者の勘に依存している
  • [ ] テストケースやエビデンスの書式が案件ごとにバラバラ
  • [ ] ベテランの頭の中にしかない「勘どころ」が共有されていない
  • [ ] レビューで拾えるバグの数が、レビュアーによって大きく違う
  • [ ] リリース前に「今回は大丈夫」と根拠を持って言えない

NGが3つ以上あれば、個人の努力ではなく標準の整備で解くべき段階に来ています。どの項目が、後述するどの土台に対応するのかは、打ち手の章で対応表として示します。まずは「自分のチームは何が揃っていないのか」を可視化することが出発点です。漠然とした不安を、直せる項目に翻訳するだけでも、打ち手はぐっと見えやすくなります。

ばらつきを放置するとPMが背負うリスク

ばらつきを放置すると、最終的に困るのは現場のテスターではなくPMです。理由は、品質の説明責任がPMに集中するからです。テスターは自分の担当範囲を見ればよいですが、PMは案件全体の品質を顧客や上長に約束しなければなりません。ここでは代表的な4つのリスクを、表面的な現象と、その裏にある構造原因に分けて整理します。

表面的な現象裏にある構造原因
リリース品質が読めず「祈るリリース」になる完了・合否の基準が共有されていない
本番流出が続き顧客の信頼が削れる観点の網羅範囲が案件ごとに揺れる
「あの人のミス」と個人に原因が見える標準がなく、個人差が品質差に直結する
見積もりが読めずテスト工数がブレる成果物の型がなく毎回作り直している

一つ目の「祈るリリース」は、多くのPMが密かに抱えている感覚でしょう。テストは一通り終えた、しかし本当に大丈夫かと問われると自信を持てない。これは担当者の能力の問題ではなく、「どこまでやれば十分か」という合格ラインがチームに存在しないことの表れです。ラインがなければ、いくらやっても不安は消えません。

とくに厄介なのが3つ目の「個人に原因が見える」現象です。標準がないと、結果の良し悪しがそのまま担当者の評価に見えてしまい、犯人捜しに傾きます。しかし本当の原因は、揃えるべき基準を用意しなかったチーム側にあります。犯人捜しが常態化すると、メンバーは萎縮し、バグを隠す動機さえ生まれます。

ばらつきの是正は、個人を責めないための仕組みづくりでもあります。基準がチームの外に明文化されていれば、うまくいかなかったときも「基準のどこが甘かったか」という改善の議論に変えられます。人を責める文化からプロセスを直す文化へ移るには、まず個人の外に基準を置くことが必要です。

4つ目の見積もりへの波及も見逃せません。テストの成果物や工程が毎回違えば、工数は経験と勘でしか出せず、案件ごとに大きくブレます。見積もりが外れれば、赤字か品質の削減かという苦しい二択を迫られます。

見積もり精度を上げたいなら、まず測る対象であるテストのやり方を安定させる必要があります。安定したプロセスは、そのまま見積もりの根拠になります。

なお、ここで一点補足します。後段で完了基準の整備を推しますが、完了基準を満たすことは「品質を保証した」ことと同義ではありません。完了基準の充足が示せるのは「合意した範囲を実施した事実」までであり、それは品質を保証する宣言ではなく、やったことを根拠を持って説明できる状態にすぎません。

合意した範囲そのものが浅ければ、基準を満たしても事故は起きます。ここを混同すると、基準を満たしたのに事故る、という失望につながります。基準は説明責任の土台であり、品質そのものの保証書ではない、と押さえておいてください。

なぜテスト品質のばらつきが起きるのか|構造5要因

共通の標準がないことを中心に、観点未定義・完了基準・合否判定・成果物の型・暗黙知の5要因が品質のブレにつながる構造を示した関係図

この症状が起きる原因は精神論ではなく、揃っていない仕組みに分解できます。代表的な5つの要因を表に整理します。

#要因何が起きるか
テスト観点が未定義何を見るかが人任せで、網羅範囲が揺れる
完了基準がバラバラ「どこで終わるか」が案件ごとに違う
合否判定が人依存バグか仕様かの判断が担当の勘で決まる
成果物の型がないケースやエビデンスの粒度が揃わない
暗黙知が共有されないベテランの勘どころが個人に閉じている

順に補足します。①の観点未定義は、最も根が深い要因です。「何を見るか」が決まっていなければ、テスト設計の入り口からずれます。

②の完了基準は、終わりの線引きです。線がないと、真面目な人ほど無限にテストし、そうでない人は早々に切り上げます。

③の合否判定は、見つけた事象を「バグ」と呼ぶか「仕様」と呼ぶかの判断で、ここが人依存だと同じ現象の扱いが担当ごとに逆転します。④の成果物の型と⑤の暗黙知は、学びが個人に閉じてチームに蓄積されない問題です。

これら5要因の共通言語として役立つのが、技法や観点を体系化した学習リソースです。たとえば技法の名前や観点の分類は、JSTQBのシラバスで体系化されています。共通の語彙があるだけで、レビューでの議論はかみ合いやすくなります。ただし注意が必要です。

JSTQBシラバスは資格試験のための学習体系であり、案件固有の観点表そのものではありません。シラバスは「同値分割」「境界値」といった共通言語を与えてくれますが、目の前の案件で何を見るかは、そこから自チームの観点表に落とし込む作業が別途必要です。シラバスを読んだだけで観点表が完成するわけではない、という役割分担を押さえてください。汎用の体系を、自分たちのドメインの言葉に翻訳する一手間が、実務では効いてきます。

ここで重要な前提を一つ補足します。5要因が揃っていないことは、ばらつきの「最も着手しやすいレバー」であって、原因のすべてではありません。標準化で揃えられるのは、あくまで既知観点の網羅範囲と、記録の一貫性までです。ここを過大評価すると、「標準さえ作れば品質は揃う」という思い込みに陥ります。

一方で、標準化だけでは埋まらない領域があります。

  • 探索的な着眼: 仕様書にない不安を嗅ぎ分ける勘は、手順書化しにくい
  • 欠陥検出スキル: 同じ観点表でも、拾えるバグの量は人の熟練で差が出る
  • 要求の解釈: あいまいな要求をどう読むかは、経験と対話に依存する
  • 環境差: 実機・データ・タイミングの差は、標準では吸収しきれない

これらは標準の不在というより、教育・レビュー・ペアリングで別途補うべき領域です。たとえば探索的な着眼は、ベテランと若手が一緒にテストするペアリングで移転しますし、欠陥検出スキルはレビューでの指摘の言語化を通じて磨かれます。

したがって、このばらつきを本気で減らすなら、「標準で揃える部分」と「人を育てて補う部分」を分けて考える必要があります。本記事は前者に焦点を当てますが、後者を無視してよいという意味ではありません。両輪でとらえておくことが、後々の失望を防ぎます。

ばらつきを揃える打ち手|標準化の全体像

では、どう揃えるか。打ち手の全体像を、どの要因を解消し、どのくらい効き、どのくらいの着手コストがかかるかで一覧にします。効きめと着手コストを併記するのは、限られた時間で優先順位をつけるためです。

打ち手解消する要因効きめ着手コスト
テスト観点表①⑤
完了基準の明文化
合否基準(判定ルール)
成果物テンプレート
レビュー基準①③⑤

この中でまず据えるべき「3つの土台」は、観点表・完了基準・レビュー基準です。観点で網羅範囲を、完了基準で終わりの線を、レビュー基準でチェックの質を揃えます。この3つは互いに補い合う関係で、観点表が「何を見るか」、完了基準が「どこで終わるか」、レビュー基準が「見落としをどう拾うか」を担います。詳しい作り方は、テスト観点の洗い出し手順の記事完了基準の決め方の記事、そしてレビューでのバグ流出を防ぐ記事で具体化しています。

標準化のゴールは、完璧なドキュメントを作ることではなく、明日から使える軽さで揃えることです。分厚い手順書は、作った瞬間に更新が止まり、誰も読まなくなります。A4一枚で回る観点表のほうが、100ページのマニュアルより価値があります。読まれない完璧さより、読まれる不完全さを選ぶ、と割り切ってください。

ここで前章の守備範囲を、もう一度はっきりさせます。標準化で揃うのは、あくまで既知観点の網羅と記録の一貫性までです。探索的な着眼や欠陥検出のスキルは、標準を配っただけでは上がりません。だからこそ、標準づくりと人材育成を切り分け、それぞれに合った手段を当てる必要があります。

  • 標準で揃える: 観点の抜け漏れ、完了ラインのズレ、成果物の粒度
  • 教育で伸ばす: 仕様の読み解き、探索的なバグの嗅ぎ分け
  • レビュー/ペアリングで補う: 判断のクセ、勘どころの移転

品質保証の全体像や工程の位置づけは、公的な資料も参考になります。IPAのソフトウェアテスト関連情報は、テスト工程を俯瞰するうえで役立つ入り口です。標準づくりに迷ったら、こうした体系を下敷きにすると、独自ルールに偏りすぎるのを防げます。自チームの経験則と、公的な体系を突き合わせると、抜けている観点が浮かび上がります。

もう一つ、標準を「育つもの」として扱う姿勢も大切です。最初に作った観点表や完了基準は、必ずどこかが甘く、実際の案件で穴が見つかります。そのとき責めるべきは書いた人ではなく、穴のあった標準です。

見つかった穴を一行足して更新する——この地道な更新の積み重ねが、机上の理想論ではない、現場で使える標準を作ります。更新の履歴そのものが、チームが何を学んだかの記録にもなります。

先ほどの自己診断チェックリストと、3つの土台の対応も示しておきます。NGが出た項目を、そのまま着手すべき土台に読み替えられるようにするためです。

  • 観点をゼロから考え直している/網羅がレビュアーで違う → まず観点表
  • 完了基準が人によって違う/根拠を持って言えない → まず完了基準
  • 合否が勘に依存/拾えるバグ数が人で違う → まずレビュー基準

NG項目が指す土台から着手すれば、闇雲に全部を作るより早く効きます。診断結果を、そのまま着手順に翻訳できるようにしておくのがコツです。一番痛いところから直すと、効果を実感しやすく、続ける動機にもなります。

最小限から始める順番|段階ロードマップ

一領域の選定から観点表・完了基準の作成、効果測定と横展開へと段階的に進む標準化の4ステップを示したロードマップ図

土台が3つあると聞くと、身構えてしまうかもしれません。しかし一度に全部を作る必要はありません。次の4ステップで、一領域から始めます。狭く始めて、効いたら広げる、が鉄則です。

  1. 一領域を選ぶ: 直近で事故った、または不安の大きい機能を一つ選ぶ
  2. 観点表を一枚作る: その領域だけ、見るべき観点をA4一枚に書き出す
  3. 完了基準を書く: 「どこまでやれば完了か」を箇条書きで明文化する
  4. 効果を測り、横展開する: 指標で効果を確かめ、次の領域へ広げる

ここで多くのチームが詰まるのが「そんな標準を作る時間はない」という壁です。日々の案件を回すだけで手一杯なのに、標準づくりの工数などどこにもない、というのが本音でしょう。解決のカギは、標準はゼロから新規作成せず、既存の良い実物から抽出することです。直近で優秀なメンバーが書いたテストケースやチェックリストを、そのまま雛形として採用してしまいます。

  • 優れたケースを1件選び、書式ごと「これがうちの標準」と宣言する
  • 30分のふりかえりを1回だけ開き、出た観点を1枚に転記する
  • 過去の障害報告から、再発防止の観点を数行ずつ拾って足す

いずれもゼロから書くのではなく、すでにある知恵を集めて型にする作業です。新規ドキュメント作成のプロジェクトにしないことが、続けるコツです。既に現場で回っている良いやり方に、名前と置き場所を与えるだけ、と考えると心理的なハードルも下がります。

工数の捻出でもう一つ有効なのが、通常のテスト業務のなかに標準づくりを織り込む発想です。専用の時間を別枠で取ろうとすると、いつまでも後回しになります。

今回の案件でどうせ書くテストケースを、次も使える書式で書いておく。レビューでどうせ出る指摘を、その場で観点表に一行転記する。日々の作業のついでに少しずつ型を残せば、標準づくりのための特別な工数はほとんど要りません。

次に、ステップ4の「効果を測る」を具体化します。効果があいまいだと、上長に横展開の予算や工数を認めてもらえません。「なんとなく良くなった気がする」では、次の一手の後押しにならないのです。測る最小指標は、次の3つで十分です。

  • 本番/受入での不具合流出件数: その領域でリリース後に見つかった不具合の数
  • レビュー指摘の再発率: 一度指摘したのに、また出てきた指摘の割合
  • リリース前の手戻り工数: 差し戻しによる作り直しにかかった時間

そして、この3指標をビフォー/アフターで一行ずつ並べた説明テンプレートを用意します。この一枚を上長に見せることが、横展開の合意を取る最短ルートです。

指標ビフォー(例)アフター(例)
本番/受入の流出件数例: 前回リリースで5件例: 今回リリースで1件
レビュー指摘の再発率例: 3割が再発例: 1割未満に低下
リリース前の手戻り工数例: 2人日例: 0.5人日

上表の数値はあくまで記入例です。実測値を入れて示すことが前提で、成果を大きく見せるための架空の数字を断定してはいけません。捏造した実績は、次の案件で必ず矛盾を生みます。

「例:」の枠を、自チームの実データで置き換えて使ってください。一領域での小さな成功を数字で示せれば、次の領域への横展開は驚くほど通りやすくなります。数字は、感覚的な不安を意思決定できる材料に変えてくれます。

全部を一度にやる場合と、一領域から始める場合の違いも整理しておきます。

進め方メリットデメリット
全部を一度に整備揃えば統一感が高い重くて頓挫しやすい
一領域から始めるすぐ効果が出て続く全体網羅までは時間が要る

迷ったら「一領域から始める」を選んでください。小さく始めて成果を見せるほうが、結局は速く全体へ広がります。頓挫した完璧な計画より、回っている小さな標準のほうが、はるかに価値があるからです。

リソースが足りないときの選択肢|第三者の目で平準化する

観点表もレビュー基準も、結局は「見る目」が要ります。ここで壁になるのが、社内にレビューできる人が足りない、あるいは全員が同じ案件に近すぎて客観性を欠く、という状況です。近すぎる目は、思い込みごと見落とします。この場合、いきなり外注を考える前に、段階を踏みます。

まず、予算ゼロでできる「社内の別の目」から始めます。費用がかからず、明日からでも試せる手が、実はいくつもあります。

  • 他プロジェクトのメンバーによる相互レビュー: 案件外の人が観点表を読むだけで、抜けに気づく
  • 過去に事故った案件担当へのヒアリング: 「あのとき何を見落としたか」を観点として1枚に足す
  • 開発担当とテスト担当のクロスレビュー: 作り手と試し手で観点を突き合わせる

これらは費用がかからず、しかも「近すぎる目」による見落としを補う効果があります。とくに過去に事故った案件のヒアリングは、実際に痛い目を見た観点が手に入るため、机上で考えた観点より実戦的です。まずはここを使い切ることが先決です。

外部の力は「社内の別の目を使い切っても、まだ足りないとき」の次の選択肢です。社内で回る部分まで外注すると、コストだけがかさみます。段階を踏むほど、投資対効果ははっきりします。無償の手を尽くした事実があると、有償化の稟議も通りやすくなります。

そのうえで、なお目が足りない・客観性を担保したいときに、有償の第三者を検討します。とくに顧客に対して独立した品質の証明が要る場面や、社内の誰もが当事者で客観性を保てない場面では、外部の目が効きます。内製と外部の切り分けは、次のように考えると迷いません。

領域内製で回すか外部か
ドメイン知識が濃い中核機能内製中心(外部は観点レビュー補助)
定型的な回帰・網羅テスト外部委託の相性がよい
客観的な品質の第三者証明外部の独立した目が有効

第三者検証を使う判断基準や進め方は、第三者検証の活用を整理した記事で詳しく扱っています。外部を使う場合も、丸投げではなく「自チームの観点表を渡し、それに沿って見てもらう」形にすると、標準そのものが育ちます。外部からの指摘が、自チームの観点表を更新する材料になるからです。

  • 社内の別の目 → まずここから(予算ゼロ)
  • 相互レビューの仕組み化 → 続けられる形に
  • 有償の第三者 → 客観性や工数がなお足りないとき

大事なのは順番です。安く早い手から使い、外部は最後の一押しに回すと、費用対効果を説明しやすくなります。順番を飛ばして高い手から入ると、効果が出ても「本当に外注のおかげか」を説明できません。無償の相互レビューで拾えたバグと、外部委託で拾えたバグを分けて記録しておくと、投資判断はさらに明快になります。

まとめ|品質のばらつきは標準の不在から直す

最後に流れを再整理します。症状は案件・担当・時期でテストの結果が揺れること、原因は観点・基準・成果物という揃えるべき土台が共有されていないこと、打ち手は3つの土台を軽く整えること、順番は一領域から始めて効果を数字で示すことです。この一本道をたどれば、迷わず着手できます。

要点は3行です。

  • テスト品質のばらつきは運ではなく、揃えるべき標準の欠如という構造の問題
  • 標準の不在は、最も着手しやすいレバーの一つ(ただし探索やスキルは教育で補う)
  • 全部を一度にではなく、一領域の観点表と完了基準から始めて数字で示す

標準化はすべてを解決する魔法ではなく、ばらつきを最短で減らせる着手点です。探索的な着眼や欠陥検出のスキルは、標準を配るだけでは伸びません。標準で揃う部分と、人を育てて補う部分を分けて考えることが、遠回りに見えて確実な道です。この切り分けができていれば、標準化が期待外れに終わることはありません。

明日の一歩はシンプルです。直近で不安の大きい機能を一つ選び、その領域の観点を30分でA4一枚に書き出す。それだけで、ばらつきを減らす標準化は動き出します。

完璧を目指さず、まず一枚。そこから積み上げれば、読めなかったリリース品質は、少しずつ説明できる品質に変わっていきます。

一枚の観点表が、次の案件でそのまま再利用され、レビューで一行ずつ育っていく。この小さな循環が回り始めれば、品質は個人の調子ではなくチームの仕組みで支えられるようになります。祈るリリースから、根拠を持って送り出すリリースへ。その転換は、大きな制度改革ではなく、今日の一枚から始まります。

テスト体制の見直しや、標準づくりの進め方を検討されている方は、テスト体制についてお気軽にご相談ください。現状の診断から、無理のない着手順の設計までご一緒します。

次に読むならこの記事

テストの手戻りを減らしたい方へ

テスト仕様書のExcelテンプレートを無料で配布しています。自社で整備する場合も、外部に任せる場合も、まずは型を持つところから。

ソフトウェアテスト代行サービスのご紹介

当社では10万円から始められるソフトウェアテスト代行サービスを提供しています。

テスト専門部隊による品質保証で、開発チームは本来の開発業務に集中できます。
品質向上と納期遵守の両立をサポートし、顧客からの信頼獲得に貢献します。

お問い合わせ

サービスに関するお問い合わせ、ご不明な点がございましたら、以下のお問い合わせフォームをご利用ください。お客様からのご質問に対し、担当者が責任を持ってお答えいたします。

よかったらシェアしてね!
目次
閉じる