Managed Testing Services

Veröffentlicht auf 6. Dezember 2010

MTS ist als Schlagwort bei vielen Firmen mit IT-fremden Kernkompetenzen in aller Munde. Die Chance auf eine signifikante Minimierung der Testressourcen und des kosten enormen Aufwandes für eine entsprechende Qualität von in Eigenverantwortung entwickelter Software ist zu verlockend.

Unter Managed Testing Services oder kurz MTS versteht man die komplette Auslagerung der Verantwortung und Durchführung von Softwaretests an Dritte, der Softwarehersteller liefert nur in regelmäßigen Intervallen neue Versionen aus und bekommt Testberichte und Fehlermeldungen zurück. In Service Level Agreements werden messbare Qualitätsziele als Key Performance Indicators definiert, die ein Dienstleister mit seiner Arbeit erzielen muss. Kosten und Gewinne werden geteilt und mittels eines flexiblen Vertrages geregelt, die Zusammenarbeit ist von gegenseitigem Vertrauen geprägt.

Der Dienstleister bietet standardisierte Test Prozesse mit hochwertiger Testmethodik und übernimmt Verantwortung für die Qualitätssicherung der Software in Übereinstimmung mit den Geschäftszielen des Kunden.

Phasen:
1. Initialisierung
Bestimmung des Ist-Standes, der Geschäfts-/IT-Ziele, des Umfang des Outsouring, der verantwortlichen Personen für das Tagesgeschäft beim Softwarehersteller.
Output: Grobe Planung, Kosten-Nutzen-Analyse
2. Detaillierte Analyse
Analyse der Anforderungs- / Test-Prozesse, der Testobjekte und Testumgebung, der Organisation, ggf. Optimierung. Enger Kontakt zwischen den Verantwortlichen, Bestimmung von Prioritäten für den Übergang. Dienstleisterauswahl.
Output: Anforderungsdatenbank, Wissensdatenbank, Management Dokumente (KPI, SLA)
3. Übernahme
Bereitstellung eines Kernteams für den Übergang, Wissenstransfer, Aufsetzen der Prozesse.
Output: Proof of Concept (POC), Projektzeitplan, generisches zentrales Anforderungs- und Testmanagement, Verträge
4. Iterativer Betrieb
Kontinuierliches Anforderungsmanagement, Fehlerbehebung, regelmäßige Bereitstellung von Releases.
Geschäftsorientierte Qualitätssicherung, Industrialisierung (Tools, Testdiversifikation, Skalierung, Multi-Projekt-Management), Testmanagement, KPI Management, regelmäßige Steuerungskreise mit Kunden, Optimierungen.
Output: Testberichte und Fehlermeldungen, Fortschrittsberichte (KPI), Item Transmittal Report
5. Exit Strategie
Rücktransfer von Know-How, Prozessen, Tools und Management, Kernteam für Übergang.
Output: Testdatenbank, Fehlerdatenbank, Wissensdatenbank, Abschlussdokumente

Während einer Iteration werden inkrementelle Releases vom Softwarehersteller an Dienstleister weitergeben. Zuerst erfolgt die Bestimmung der Testobjekte und Testpakete, danach die Erstellung oder Bereitstellung der Testdaten, die Durchführung der (automatisierten) Tests und eine andauernde Optimierung, abschließend eine vollständige Dokumentation.
Gerade für unerfahrene Beteiligte und bei größeren und von einander abhängigen Systeme eignet sich die Time-Boxing-Methode. Es werden zu festen Zeiten abgestimmte Testpakete übergeben, die während einer festen Zeit bearbeitet werden. Am Ende werden die Ergebnisse und Fehlermeldungen zurückgegeben und ein neues Testpaket vom Softwarehersteller übergeben, dieser kann seinerseits mit der Behebung der Fehler beginnen.
Kann eine Time-Box nicht eingehalten werden, verschiebt sich alles offene automatisch in die nächste Time-Box, die unbelegt sein muss. Dort werden dann die Restarbeiten erledigt. Die geplante Time-Box wird in die folgende verschoben.
Ausnahmen dieses Prinzips gibt es nur in absoluten Ausnahmefällen. Hiermit soll verhindert werden, dass eine Time-Box zu voll gestopft wird und Druck auf eine Seite ausgeübt wird, was zu Nachlässigkeiten und Qualitätsproblemen führen könnte. In so einem Falle muss die Ursache erforscht und die Übernahme der Mehrkosten vertraglich definiert geregelt werden.
Eine kontinuierliche Übergabe und eine kontinuierliche Rückgabe hat natürlich ebenso Vorteile. Allerdings müssen hierfür auf beiden Seiten entsprechend qualifizierte Prozesse vorhanden sein und ein beinahe blindes Verständnis auf Managementebene herrschen, da Aufwände nicht vorhersehbar sind und Ressourcen ständig bereitgestellt oder von anderen Projekten kurzfristig abgestellt werden müssen.

Auswahl eines MTS Dienstleisters:
* Qualifikation der Mitarbeiter
* Qualität der Prozesse und Schnittstellen
* Methodik des Testvorgehens
* Automatisierungsgrad der Tests
* Industrialisierungsgrad der Qualitätssicherung
* Nachweis der Erfüllung der Kundenvorgaben (KPI, SLA)
* Verfügbarkeit der Ansprechpartner und Kommunikation, ggf. Möglichkeit der Einbindung in Ihr Management
* Ort der Erbringung der Leistungen (Off-Shore, Near-Shore, ...)
* Datensicherheit, Schutz Ihres Eigentums

Vorteile MTS Nutzer:
* Nutzung von externem Know-How
* Zugriff auf etablierte Prozesse
* Aufwand für Qualitätssicherung entspricht den geschäftlichen Zielen
* Minimierung der Testressourcen
* Flexible Dienstleistungen
* Kürzere QS-Durchlaufzeiten
* Gesicherte Ergebnisse
* Konzentration auf das Kerngeschäft
* Reduzierung der Komplexität auf der eigenen Seite
* Minderung und Transparenz der Kosten
* In der Regel Angebote zum Festpreis

Vorteile MTS Anbieter:
* Höhere gleichbleibende Auslastung des QS-Teams
* Effizientere Nutzung der Ressourcen
* Spezialisierte Mitarbeiter
* Standardisierte Vorgehensweisen, Best Practices
* Expertenwissen über Methodik, Normen und branchenspezifischer Vorgaben
* Ausnutzung der gesamten Breite der Testmöglichkeiten
* Konzentration auf das Kerngeschäft
* Kenntnis des Preisrahmens
* Steigende Nachfrage

Risiken:
* Outsourcing von Problemen und Risiken
* Vertragsstreitigkeiten
* Unvorbereitete, unreife Prozesse
* Überhöhte Erwartungen
* Unklare Vorgaben für Geschäftsziele oder QS-Ziele
* Schlechte fachliche Tests
* Schlechte Anforderungen für Tests
* Unwirtschaftliches Arbeiten
* Kostenverschleiß durch Kommunikations- und Abstimmungsprobleme
* Verlust von Kontrolle
* Verlust von Wissen während und nach Beendigung des Vorhabens
* Unwiderruflicher Abbau des Test-Rahmens gegen Ende des Vorhabens