Evaluierungskriterien für ein Tools zur Automatisierung funktionaler Oberflächentests
Veröffentlicht auf 11. Juni 2008
Die Entscheidung für ein Tool zur Automatisierung von funktionalen Oberflächentest geschieht meist schon sehr früh in den Projektphasen und hat gewaltigen Einfluss auf Planung, Kosten und letztendlich den Erfolg des Gesamtprojekts. Nachfolgende Punkte sollten in keiner Evaluierung fehlen, stellen aber auch keinen Anspruch auf Vollständigkeit dar. Hier muss man je nach Projekt und Anwendungsbereich noch detailierter werden und die Kriterien erweitern.
Nichtfunktionale Anforderungen
- Einfache Installation
- Auf dem Markt etabliert und im Einsatz
- Weitere Unterstützung durch Hersteller
- Angemessener Einarbeitungsaufwand
- Unterstützung der aktuellen Betriebssysteme
- Gemäßigte Ressourcenbeanspruchung
- Performance bei größeren oder aufwändigeren Testdurchführungen
- Stabilität
- Einfache Bedienung
- Aussagekräftige Hilfe, Dokumentation, Anleitungen
- Akzeptabler Preis und / oder Lizenzkosten
Anforderungen Testaufzeichnung
- Unterstützung der Applikationsart
- Automatische Erkennung von Objekten auf einer Oberfläche
- Handhabung von nationalen Sonderzeichen
- Unterstützung von Capture Replay
- Speicherung der Testfälle als Skript oder in einer Datenbank
- Lesbarkeit und Handhabung der Aufzeichnungen
- Strukturierung und Ablage der Testfälle
- Leichte Änderungen der Testfälle bei Änderung der Oberfläche
Anforderung Testdurchführung
- Parametrisierung der Testdurchführung
- Verteilte Testdurchführung
- Aussagekräftige Protokolle nach Testende
- Detailierte Fehlermeldungen
- Anbindung an gängige Testmanagementsysteme
Anforderungen Testauswertung
- Statistische und Grafische Auswertung
- Zugriff auf eine Testergebnisse-Datenbank
- Erweiterbarkeit und Anpassbarkeit der Auswertungen
- Exportfunktion für die Ergebnisse und Protokolle (XLS, HTML, ...)
Für weitere Informationen rund um den Prozess einer Evaluation kann auch auf die ISO 14102 - "Guideline for the evaluation and selection of CASE tools" zurückgegriffen werden.