Home

TPI_Automotive_Version _deutsch_

1. infrastruktur kontrolle Testskript Vorbereitungstest Realisierung Testumgebung Einsatzbereite Testinfrastruktur Testtools Testumgebung und Tools Die Durchf hrungsphase Aktivit t Teilaktivit ten Aspekte Produkt berpr fung von berpr fung Testbares Testobjekt Testobjekt und Infrastruktur und infrastruktur Testobjekt Vollst ndigkeits kontrolle Durchf hrung des Vorbereitungstests F llen Ausgangsdateien Startbedingungen f r die Ausf hrung von Testf llen Erfassen der initialen Datensammlung Einstellen der Parameterwerte Ausgangsdateien Durchf hrung der erneuten Tests Durchf hrung Testskripte Durchf hrung statische Tests einschl Beurteilung der Testergebnisse und Analyse der Unterschiede Abweichungen Testberichte Abh ngigkeiten Engagement und Motivation Ebene A Zuweisung von Budget und Zeit Es muss gen gend Unterst tzung von Seiten des Projekt Managements vorhanden sein um ein Phasenmodell einzusetzen Insbesondere die ersten Phasen Planung und Spezifikation richten sich nicht auf die Testdurchf hrung und k nnen daher den Eindruck erwecken berfl ssig zu sein Optimierungsvorschl ge Organisieren Sie den Testprozess so dass er m glichst kurz auf dem kritischen Pfad des Projekts liegt Meistens gelangt das Testen auf einen kritischen Pfad wenn der Entwickler die Software f r die Te
2. Der Auftraggeber eines Tests erwartet vom freizugebenden System bestimmte Qualit ten die von Fall zu Fall sehr unterschiedlich sind Es ist von gr ter Bedeutung dass hier ber Vereinbarungen mit dem Auftraggeber getroffen werden und dass Sogeti Deutschland GmbH Version 1 01 28 03 06 11 abh ngig von den W nschen des Auftraggebers diese in eine entsprechende Testvorgehensweise umgesetzt werden Besprechungen mit dem Auftraggeber ber eine Teststrategie stellen sich h ufig als einen Erkenntnisprozess heraus Anstatt nur Entscheidungen in Hinsicht auf Geld und Zeit zu treffen stehen pl tzlich auch ganz andere Auswahlm glichkeiten zur Diskussion Durch eine Detaillierung wird der Testprozess zudem kontrollierbarer Die Informationen die man w hrend der Ausarbeitung einer risikobasierten Teststrategie gewinnt sind sehr wertvoll wenn es darum geht zwischen der geforderten Qualit t Zeit und Geld abzuw gen Wenn ein Auftraggeber will dass das Testen kosteng nstiger erfolgt kann der Testmanager ihn vor die Entscheidung stellen einen bestimmten Test wegfallen zu lassen oder einen anderen Test in abgeschw chter Form also weniger intensiv durchzuf hren Dies bietet dem Auftraggeber sp ter die M glichkeit sein eigenes Budget zu verteidigen Beispiel 1 Ein Automobilproduzent will eine neue Version einer bestehenden Software implementieren F r diese neue Version ist ein Abnahmetest geplant und hierf r wird eine r
3. Abweichungsmanagementsystem des Lieferanten eingetragen sein sollten Abh ngigkeiten Keine Optimierungsvorschl ge F r eine solche Dokumentation der Abweichungen ist meistens eine automatisierte Unterst tzung erforderlich selbst entwickelt oder als kommerzielles Produkt erworben Geben Sie die Bedeutung einer Priorisierung bei Abweichungen an um Diskussionen zu vereinfachen um Verfahren schneller ablaufen zu lassen und mehr Einblick in die Testergebnisse zu erhalten Besondere Aufmerksamkeit ist hier einer raschen Bearbeitung der Abweichungen zu schenken die den Testfortschritt blockieren Treffen Sie Vereinbarungen ber das Format in dem die offenen Abweichungen kommuniziert werden Dies macht es wesentlich einfacher und weniger fehleranf llig die Abweichungen in das Abweichungsmanagementsystem der jeweils anderen Partei einzutragen 16 C Dokumentation der Abweichungen wird im gesamten Projekt eingesetzt Beschreibung Sogeti Deutschland GmbH Version 1 01 28 03 06 87 Eine einzige Dokumentation der Abweichungen f r das gesamte Projekt bietet gro e Vorteile Alle bei der Systementwicklung beteiligten Parteien also u a die Entwickler Anwender Tester Qualit tssicherungsmanager k nnen sowohl ihre gefundenen Abweichungen als auch eventuelle L sungen erfassen und verfolgen Die Kommunikation ber die Bearbeitung der Abweichungen wird damit stark vereinfacht Des Weiteren ist eine zentrale Verwaltung ein
4. Planung und m glicherweise das Budget ohne jegliche Anpassungen Bestand h tten Die verschiedensten Ma nahmen m ssen ergriffen werden um die Planung und das Budget einzuhalten Tests oder Testaktivit ten auszulassen ist eine der Ma nahmen die man vermeiden sollte da dies Risiken mit sich bringt Dies f hrt zu mehr Unsicherheit ber die Qualit t des Testobjekts Im Planungsprozess sollte eine Abstimmung zwischen Auftraggeber und Lieferant stattfinden um doppelten Aufwand und L cken im Test zu vermeiden Siehe auch Kernbereich Teststrategie Es ist besonders wichtig die Testunterst tzung durch den Lieferanten w hrend Winter und Sommertests zu planen Kontrollpunkte 4 A 1 Der Testkostenvoranschlag und die planung k nnen begr ndet werden aber nicht so Wir haben das beim vorigen Projekt genauso gemacht F r Basisaktivit ten ist bekannt welcher zeitliche und finanzielle Aufwand f r diese Aktivit ten erforderlich ist 4 A 2 Im Testprozess erfolgt eine berwachung des Kostenvoranschlags und der Planung und falls notwendig findet auch eine Anpassung statt 4 A 3 Im Fall von kurzfristigen nderungen die seitens des Lieferanten und oder des Auftraggebers erforderlich werden wird eine Neuplanung der Testaktivit ten durchgef hrt Abh ngigkeiten Sogeti Deutschland GmbH Version 1 01 28 03 06 32 Einsatz des Phasenmodells Ebene A Planung Spezifikation Durchf hrung Damit ein zuverl ssiger Koste
5. Statistisch fundierter Kostenvoranschlag und Planung 444 sHer nennen nn 34 TESTSPEZIFIKATIONSTECHNIKEN 35 Nicht formale Techniken usrurrannanennnnnnnnnn nun nenn nun nun nun nennen nn AN 35 Formale Techniken nen a an a an a 36 Mathematische Methoden usrursannaneennnnnnnnn nun nn nnnnan nun nun nun nenn nun an nenne 37 STATISCHE TESTTECHNIKEN 39 Detail berpr fung der Testbasis usssrssennnennnn nun nenn nenn ann ann ann nun nenn nennen 39 Checklisten ae nn aa ana ee ae aeg en 40 METRIKEN 41 Projektmetriken ber Produkt usr r4srHnnnnn nen nnnn nun nun nennen un nun namen 42 Projektmetriken ber Prozess 4usrHrnernn nun nenn an nun eeii 43 Systemmetriken 22s420r0nnnnnnnnnnn nun nenn une nun nn nn nnnnnnnnnnnnnnennnnnnnnnnnnnnnnnnenenn i 45 Organisationsmetriken gt 1 System usrernernnnennnnnnnan nun nnn nennen nun nennen 46 TESTAUTOMATISIERUNG 47 Einsatz Von TESstkoolS nn 00 nn anna anna Rh 48 Beherrschung der Testautomatisierung urssrsensnnnnnannnnnnn nennen nn nun nannenne 48 Optimale Testautomatisierung z4 ssan ran een nnnnennn nun nenn nun nun nun nun nn nen nun nanen 52 TESTUMGEBUNG 53 Kontrollierte Testumgebung urs ssaneeneennnnnn nun nenn nun nun nun nennen nun nun namen 53 Testen in der geeignetsten Umgebung uzzsraersnnnnnan san nnnennnnnnn mann an nennen 56 Umgebung auf Abruf u use ee en 57 B RO UND LABOR
6. Version ist es m glich Sequenzen von Funktionsaufrufen zu erstellen und sogar in Echtzeit zu berwachen was von dem Steuerger t im Test zur ckgeliefert wird Der Sequenzer wird in diesem Projekt mit einem minimalen Investment wieder verwendet und wird auch in einem n chsten Projekt mit seinen neuen Verbesserungen eingesetzt Die initiale Entscheidung generell verf gbare Komponenten wie Word und Access einzusetzen war der Grund daf r dass die Testsequenzer sehr leicht von anderen Projekten als n tzliches Instrument akzeptiert wurden Aufgrund der Dokumentation und der einfach verf gbaren Architektur hat jedes Projekt seine Erweiterungen f r diesen Testsequenzer erstellt Und nicht nur das urspr ngliche Projekt hatte seinen Nutzen von diesem Testsequenzer auch alle anderen Projekte haben viel Zeit und Geld gespart indem Sie diesen Testsequenzer einsetzten Kontrollpunkte 8 B 1 Es wurde eine wohl berlegte Entscheidung getroffen welche Komponenten der Testdurchf hrung zu automatisieren sind Bei dieser Entscheidung werden jene Arten von Testtools und Testaktivit ten einbezogen die zur Testdurchf hrung geh ren 8 B 2 Falls der Beschluss im Zusammenhang mit der Automatisierung der Testdurchf hrung positiv ausgefallen ist wird inzwischen bereits ein Tool zur Testdurchf hrung eingesetzt 8 B 3 Bei der Einf hrung des neuen Testtools erfolgt eine Inventarisierung der technischen Aspekte funktioniert das Testtool auf dieser spezi
7. glich mit Tatsachen d h mit Metriken aus der Fortschritts berwachung und Dokumentation der Abweichungen Ein Beispiel f r das Inhaltsverzeichnis eines Fortschrittsberichts 1 Einleitung 2 Vereinbarungen 3 Ausgef hrte Aktivit ten 3 1 Fortschritts bersicht 3 2 Trends Anmerkungen und Empfehlungen zum Fortschritt 4 Qualit t 4 1 Qualit tshinweise und charakteristiken 4 2 Trends Anmerkungen und Empfehlungen ber die Qualit t 5 Engp sse und Diskussionspunkte 6 Aktivit ten im kommenden Zeitraum Das Inhaltsverzeichnis eines Abschlu berichts ist blicherweise hnlich dem eines Fortschrittsberichts Management Zusammenfassung Einleitung Vereinbarungen Evaluation des Testobjekts 4 1 Allgemein 4 2 Freigabeempfehlung 5 Evaluation des Testprozesses 5 1 Allgemein 5 2 Empfehlungen f r zuk nftige Test Projekte 6 Durchgef hrte Aktivit ten 6 1 Fortschritts berblick 6 2 Trends Anmerkungen und Empfehlungen zum Fortschritt 7 Qualit t 7 1 Qualit tsindikatoren und Charakteristiken 7 2 Trends Anmerkungen und Empfehlungen ber die Qualit t a 15 D Empfehlungen haben einen Software Process Improvement Charakter Beschreibung Bei dieser Form der Berichterstattung richten sich die Empfehlungen nicht mehr ausschlie lich auf Testaktivit ten sondern auch auf Aktivit ten au erhalb des Testens bzw auf den gesamten Systementwicklungsprozess Man denke in diesem Rahmen an Empfehlungen das Fachkonzept zus tzlich z
8. r High Level Tests ist eine fundierte Aussage ber den Deckungsgrad des Tests ist basierend auf der Sammlung an Testf llen in Bezug auf die Testbasis m glich 5 B 3 Die Testware ist innerhalb des Testteams durch die einheitliche Arbeitsweise bertragbar Abh ngigkeiten Testfunktionen und Ausbildungen Ebene A Testmanager und Tester Die Tester m ssen mit den formalen Techniken umzugehen wissen Das erfordert eine entsprechende Ausbildung und Training Testware Management Ebene A internes Testware Management Der Einsatz der relativ teuren formalen Techniken liefert Testf lle u erst wichtig ist dass diese Testf lle wieder verwendbar sind entweder in erneuten Tests oder f r den Test sp terer Freigaben des Systems Dies erfordert ein gutes Management der Testf lle Optimierungsvorschl ge Sorgen Sie f r eine entsprechende Ausbildung und Training der Tester die mit diesen Techniken arbeiten sollen Sorgen Sie f r eine Beschreibung der Technik wenn diese von einer Standardtechnik abweicht Eine Vielzahl von Testtechniken ist in der Testliteratur beschrieben Beizer 1990 Binder 2000 Kaner u a 1993 Kit 1995 Pol u a 1999 Notenboom 2003 d h es besteht also keine Notwendigkeit sie noch einmal neu zu entwickeln Sogeti Deutschland GmbH Version 1 01 28 03 06 36 5 C Mathematische Methoden Beschreibung Eine spezielle Kategorie von Testspezifikationstechniken wird aus de
9. ssen Die Nichtfunktionalen Qualit tsanforderungen sind oft nicht klar formuliert Starten sie eine Diskussion wie diese gemessen und beurteilt werden sollen Diese Stufe bezieht sich mehr auf das Projekt oder die Organisation als auf den Testprozess selbst Seien Sie sich dessen bewusst Stellen Sie im Rahmen der Verwaltung der Testware gute Verkn pfungen zwischen Testf llen der Testbasis und dem Testobjekt zur Verf gung Dies erfordert eine gute Versionsverwaltung 17 C bertragbare Testware Beschreibung Indem die Testware wieder verwendbar gemacht wird vermeidet man dass die arbeitsintensive Spezifizierung von Testf llen in einer n chsten Projekt oder Wartungsphase erneut stattfinden muss Obgleich das sehr logisch klingt stellt sich in der Praxis h ufig heraus dass es in der Stressperiode kurz vor Auslieferung oftmals nicht gelingt die Testware aktuell zu halten und dass es nach Beendigung des Testes meist nicht mehr erfolgt Es ist jedoch fast unm glich die unvollst ndige und nicht aktualisierte Testware eines anderen wieder zu verwenden Da die Wartung meistens nur einen beschr nkten Teil der Testware wieder verwenden wird empfiehlt es sich diesen Teil sorgf ltig zu bertragen Gute Vereinbarungen beispielsweise welche Testware vollst ndig und aktualisiert bertragen werden muss helfen erheblich bei der Vermeidung einer erneuten Spezifizierung Kontrollpunkte 17 C 1 Die Testprodukte oder eine vorher v
10. tsempfinden Ermittelt aus berpr fungen und Gespr che mit den Anwendern Testern und anderen Beteiligten z B von Qualit tssicherungsabteilungen zur Verf gung gestellt 7 B 2 Die Metriken werden einschlie lich einer Trendanalyse z B ein vorherbestimmter Kurvenverlauf verglichen mit der tats chlichen Situation bei der Testberichterstattung verwendet Abh ngigkeiten Berichterstattung Ebene C Risiken und Empfehlungen anhand von Metriken belegt Das F hren von Metriken f r den Testprozess hat wenig Sinn wenn die Metriken weder festgehalten noch verwendet werden Bei Ebene C der Berichterstattung k nnen solche Metriken eingesetzt werden Dokumentation der Abweichungen Ebene B umfangreiche Dokumentation der Abweichungen mit flexiblen Berichterstattungsm glichkeiten Eine umfangreiche Dokumentation der Abweichungen ist erforderlich um Metriken f r die Qualit t des Testprozesses sammeln zu k nnen Sogeti Deutschland GmbH Version 1 01 28 03 06 44 Optimierungsvorschl ge Tools leisten h ufig eine gute Unterst tzung beim Sammeln von Metriken 7 C _Systemmetriken Beschreibung Das Funktionieren eines Systems in der Praxis ist eigentlich die definitive Endkontrolle Die Erweiterung der Metriken auf den Systemeinsatz anstatt nur f r die Entwicklungsphase bietet eine sehr viel h here Qualit t der Informationen Die Metrikinformation aus der Entwicklungsphase einschlie lich der Protokolle aus Kontrollen
11. 4x3 x 5 240 Arbeitstage im Jahr Sch tzen Sie die reine Ausf hrungszeit Die reine Ausf hrungszeit ist die Zeit in der automatisiert werden kann Es handelt sich um die Zeit in der jemand vor dem Bildschirm damit besch ftigt ist Testf lle auf eine Anwendung auszuf hren plus der Zeit die daf r verwendet wird Unterschiede festzustellen das Ergebnis des Tests ist 10 obwohl 9 erwartet wurde Nicht zur reinen Ausf hrungszeit geh ren die Analyse der Unterschiede und die Suche nach der Ursache die Berechnung ergibt 10 anstatt 9 da in Funktion X ein bestimmter Prozentsatz nicht mitgez hlt wird Im Beispiel von 240 Arbeitstagen j hrlich sch tzen wir die reine Ausf hrungszeit auf ein Viertel also auf 60 Arbeitstage im Jahr Erstellen Sie eine Sch tzung f r folgende Voraussetzungen Die automatisierte Durchf hrung des ersten Tests kostet durchschnittlich X mal soviel Zeit wie eine manuelle Durchf hrung im Beispiel nehmen wir X 2 also A M x 2 Automatisiertes Regressionstesten ist Y mal schneller als manuelles Testen im Beispiel nehmen wir Y 4 A M 4 Berechnen Sie den m glichen Zeitgewinn Manuell 60 Arbeitstage im Jahr oder 15 Arbeitstage je Regressionstest Automatisiert erster Test kostet doppelt soviel 15 x 2 Regressionstests sind viermal schneller 3 x 15 4 41 Arbeitstage im ersten Jahr und 4 x 15 4 15 Arbeitstage in jedem weiteren Jahr Nutzen Unterschied also 19 Arbeit
12. Empfehlungen der Tester werden bei der Projektbesprechung er rtert Abh ngigkeiten Einsatz des Phasenmodells Ebene A Planung Spezifikation Durchf hrung Testprozessmanagement Ebene B Planung Durchf hrung berwachung und Anpassung Eine gute Integration des Testens in das Projekt bedeutet dass der Testprozess planbar und verwaltbar sein muss Das erfordert den Einsatz eines Phasenmodells und einen gut kontrollierten Prozess Berichterstattung Ebene B Fortschritt Status der Tests und der Produkte Aktivit ten Zeit und Kosten Meilensteine Abweichungen einschlie lich Priorit ten Dokumentation der Abweichungen Ebene A interne Dokumentation der Abweichungen Eine Mindestvoraussetzung f r die Integration des Testens in das Projekt ist dass der Fortschritt und die Abweichungen gemeldet und richtig verwaltet werden Optimierungsvorschl ge Stellen Sie sicher dass der Testmanager an den Projektbesprechungen teilnimmt Sorgen Sie f r eine strukturelle Kommunikation und Abstimmung mit dem Entwickler bez glich des Fortschritts der Teilprojekte Schaffen Sie im Testteam eine aktive Einstellung eine Art Signalfunktion Die Tester m ssen aktiv daran arbeiten potentielle Qualit tsprobleme so fr h wie m glich zu melden Beispiel Sogeti Deutschland GmbH Version 1 01 28 03 06 62 Bei einem Projekt herrscht eine sehr straffe Planung Es wurde vereinbart dass der Entwickler eine bestimmte Ak
13. Funktionale Unterst tzung hilft bei der Beantwortung von Fragen zur Funktion die w hrend des Testens entstehen Insbesondere f r die bei den letzten Formen der Unterst tzung sind Personengruppen von au erhalb des Testprozesses erforderlich wodurch es notwendig ist den Einsatz gut und rechtzeitig zu regeln Eine unzureichende Unterst tzung kann den Testprozess erheblich verz gern Au erdem wird der Kontrolle der eigenen Testprodukte viel Aufmerksamkeit geschenkt Quality Assurance Qualit tssicherung Das soll verhindern dass Abweichungen bzw Entgleisungen des Prozesses zu sp t entdeckt werden Werden diese Probleme nicht rechtzeitig beseitigt hat das fast immer seinen Preis entweder zus tzliche Zeit oder geringere Testqualit t Im Falle von kleinen Teams kann die hier genannte Form der Unterst tzung von gro er Hilfe sein Dennoch muss in kleinen Teams die Unterst tzung aufgrund von Kapazit tsproblemen auf einem minimalen Niveau gehalten werden Unterst tzung wird also nur dann in Anspruch genommen wenn sie zwingend erforderlich ist und auch dann nur f r eine klar begrenzte Zeit Beispiel Unerfahrene Tester k nnen viele Fehler bei der Testspezifikation machen Wenn das rechtzeitig entdeckt wird kann man problemlos korrigierend eingreifen beispielsweise durch zus tzliche Trainings und begrenzte berarbeitungen In einem sp teren Stadium ist der Schaden sehr viel schwieriger zu beheben Kontrollpunkte 12 B 1 Die Au
14. GmbH Version 1 01 28 03 06 30 Optimierungsvorschl ge Beziehen Sie die Tester bereits in den ersten Phasen im Systementwicklungsprozess mit der Aufgabe mit ein die Testbarkeit des zu entwickelnden Systems zu untersuchen Faktoren sind hier beispielsweise die auszuw hlende Entwicklungsmethode und das Projektkonzept Wichtigste Voraussetzung ist dass das Testteam ber ausreichende Kenntnisse und Erfahrungen verf gt um die oben genannten Kontrollpunkte ordnungsgem durchzuf hren Sorgen Sie in diesem Zusammenhang f r die erforderlichen Sachkenntnisse bzw Ausbildungen Die Einrichtung einer Linienabteilung Testen vereinfacht den Aufbau und Einsatz von Expertisen Treffen Sie Vereinbarungen mit dem Auftraggeber welche Testarten von den Lieferanten durchgef hrt werden sollen und ber die M glichkeit aufgrund der Abh ngigkeit von Prototypen Fahrzeugen und anderer Testausstattung Tests mit dem Auftraggeber gemeinsam durchzuf hren Es ist sehr zeitaufwendig Modelle f r HiL Hardware in the Loop oder spezielle Simulationsumgebungen zu erstellen Wenn diese Modelle nicht zur Verf gung stehen muss der Lieferant so fr h wie m glich damit beginnen die notwendigen Modelle zu erstellen um seine Testumgebung rechtzeitig zu installieren Sogeti Deutschland GmbH Version 1 01 28 03 06 31 4 KOSTENVORANSCHLAG UND PLANUNG Die Testplanung und der Kostenvoranschlag geben an wann welche Aktivit ten auszuf hren sind
15. Qualit tsmerkmale auf dem Testobjekt durchzuf hren Abh ngigkeiten Keine Optimierungsvorschl ge berzeugen Sie die Tester von der Objektivit t und relativen Vollst ndigkeit der Checklisten als Begr ndung eines Urteils im Gegensatz zu Angaben aus der Erinnerung wie beispielsweise es ist nicht benutzungsfreundlich berzeugen Sie Tester davon dass Checklisten bereits im Vorfeld mit den Entwicklern und anderen Projekt beteiligten besprochen werden m ssen um Diskussionen im Nachhinein zu vermeiden oder um eine st rkere Position einnehmen zu k nnen Sorgen Sie daf r dass die richtigen Fach oder System Kenntnisse f r die Spezifizierung bzw Durchf hrung von statischen Tests vorliegen Sogeti Deutschland GmbH Version 1 01 28 03 06 40 7 METRIKEN Unter Metriken versteht man quantifizierte Beobachtungen der Eigenschaften eines Produkts oder Prozesses wie zum Beispiel die Anzahl der Zeilen des Quellcodes Manche Metriken werden aus anderen Metriken zusammengesetzt F r den Testprozess sind Metriken im Zusammenhang mit dem Fortschritt des Prozesses und der Qualit t des getesteten Systems von elementarer Bedeutung Sie werden dazu eingesetzt den Testprozess zu berwachen und sie helfen dabei Testempfehlungen zu begr nden und Systeme oder Prozesse miteinander vergleichen zu k nnen Sie helfen des Weiteren bei der Beantwortung von Fragen weshalb das eine System wesentlich weniger St r
16. Statistiken anhand der Dokumentation der Abweichungen und der Fortschritts berwachung z B Anzahl Vergleiche der gefundenen Abweichungen gegen ber den durchgef hrten Testf llen pro Zeiteinheit oder die durchgef hrten Testf lle gegen ber den geplanten Testf llen Abh ngigkeiten Metriken Ebene A Projektmetriken ber Produkt Dokumentation der Abweichungen Ebene B umfangreiche Dokumentation der Abweichungen mit flexiblen Berichterstattungsm glichkeiten Die f r die Berichterstattung erforderliche Untermauerung mit Metriken erfordert mindestens diese Ebenen Teststrategie Ebene A Strategie f r einzelnen High Level Test Testspezifikationstechniken Ebene B formale Techniken Zur Formulierung eines fundierten Urteils ber das zu testende System sind Informationen ber die Risiken notwendig Zudem muss die Teststrategie auf diesen Risiken basieren Optimierungsvorschl ge Nehmen Sie die gew hlte Teststrategie als Ausgangspunkt Wurde davon abgewichen War diese Strategie bereits d nn Ist der Regressionstest eigentlich strukturiert verlaufen Wie gro ist die Wahrscheinlichkeit einer Regression Sogeti Deutschland GmbH Version 1 01 28 03 06 82 Stellen Sie diese Fragen bei jedem zu testenden Qualit tsmerkmal Versuchen Sie durch die Antworten hierauf eine Einsch tzung der Risiken vorzunehmen und schlagen Sie Ma nahmen vor Untermauern Sie die wichtigsten Schlussfolgerungen soviel wie m
17. Teil zu testen Essentielle Schritte auf dem Weg zu einer risikobasierten Teststrategie sind Festlegen der Qualit tskriterien In Abstimmung mit den betroffenen Parteien werden die Qualit tskriterien festgelegt auf welche der Test sich fokussieren soll W hrend des Testprozesses werden die Testergebnisse an den Auftraggeber berichtet Festlegen der relativen Bedeutung der Qualit tskriterien Basierend auf den Ergebnissen des vorhergehenden Schritts wird aufgezeigt wie der Testaufwand auf die gew hlten Qualit tskriterien verteilt werden sollte Der Ausgangspunkt ist eine Gleichverteilung des Testaufwands auf alle Qualit tskriterien Zerlegen in Systemkomponenten In diesem Schritt wird das System auf Basis der logischen Systemarchitektur in einzelne Systemkomponenten zerlegt Wenn m glich sollte das System so zerlegt werden dass jede Systemkomponente einem einzigen Lieferanten zugeordnet werden kann Wird von dieser Unterteilung abgewichen muss dies ausdr cklich begr ndet sein Ferner wird oft die Komponente Gesamtsystem ber cksichtigt um die relative Bedeutung des Tests des Gesamtsystems darzustellen Die Idee dabei ist Risiken zu ber cksichtigen die durch separate Tests aller Einzelkomponenten nicht abgedeckt werden Sogeti Deutschland GmbH Version 1 01 28 03 06 10 Festlegen der relativen Bedeutung der Systemkomponenten Basierend auf den Ergebnissen des vorigen Schritts wird nun festgelegt wie
18. Verteilung der Reifegradsebenen basiert auf Priorit ten und Abh ngigkeiten zwischen den Ebenen verschiedener Kernbereiche Um zum Beispiel mit Testautomatisierung zu beginnen m ssen zun chst Testf lle existieren Diese Testf lle lassen sich durch Testspezifikationstechniken ableiten Daher hat Ebene A des Kernbereichs Testspezifikationstechniken eine h here Priorit t als Ebene A des Kernbereichs Testautomatisierung Deshalb wird Ebene A des Kernbereichs Testspezifikationstechniken auch weiter links in der Matrix platziert als Ebene A des Kernbereichs Testautomatisierung Ebene A des Kernbereichs Metriken setzt folgendes voraus Ebene B des Kernbereichs Testprozessmanagement Ebene A des Kernbereichs Dokumentation der Abweichungen Ebene B des Kernbereichs Berichterstattung Ebene B des Kernbereichs Engagement und Motivation Ebene A des Kernbereichs Metriken befindet sich in der Matrix daher ebenso weit rechts wie Ebene B des Kernbereichs Engagement und Motivation Alle Abh ngigkeiten zwischen den verschiedenen Ebenen der Kernbereiche werden in Kapitel 23 dargestellt Bevor Optimierungsvorschl ge formuliert werden k nnen ist die jeweilige Ebene f r jeden einzelnen Kernbereich zu bestimmen Es wird eine Analyse des Testprozesses durchgef hrt um zu bestimmen ob die Kontrollpunkte der Kernbereiche erf llt sind Sogeti Deutschland GmbH Version 1 01 28 03 06 5
19. Wenn alle Kontrollpunkte erf llt sind ist die jeweilige Ebene f r den betreffenden Kernbereich erreicht Die Matrix wird nach dieser Betrachtung des Testprozesses ausgef llt und bietet so allen Beteiligten eine bersichtliche Vorstellung davon auf welcher Ebene sich der Testprozess befindet Anhand der Matrix k nnen anschlie end gezielte berlegungen stattfinden welche Reifegrade f r welche Kernbereiche erreicht werden sollen Indikationen welche Ma nahmen man ergreifen sollte um den Testprozess auf die gew nschten Ebenen zu bringen werden in Form von Optimierungsvorschl gen formuliert Optimierungsvorschl ge Das TPI Modell formuliert die zu ergreifenden Ma nahmen zur Optimierung des Testprozesses auf den gew nschten Ebenen Diese Ma nahmen sind in Form von allgemeinen Optimierungsvorschl gen formuliert Diese Optimierungsvorschl ge k nnen als Grundlage herangezogen werden um konkrete spezifische Verbesserungsma nahmen bezogen auf den jeweiligen analysierten Prozess auszuarbeiten Die Implementierung dieser Verbesserungsma nahmen sollte die Organisation f r die betroffenen Kernbereiche auf die jeweils gew nschte Ebene bringen Anwendung des TPI Automotive Modells Jeder nderungsprozess besteht im Allgemeinen aus den gleichen Arbeitsschritten Auf der Grundlage von Zielsetzungen werden nderungen ausgef hrt um vom gegenw rtigen Zustand zu der gew nschten Situation zu gelangen Die Optimierung des Testproz
20. anderen Seite sind die Risiken hinsichtlich der Eignung f r die Organisation h her da sie so konzipiert wurde dass sie f r alle m glichen Organisationen passen soll One size fits all Identifizieren Sie den Auftraggeber des Tests und lassen Sie ihn seine Anforderungen an den Test klar darlegen 1 B Kombinierte Teststrategie f r High Level Tests Beschreibung Die Abstimmung der Teststrategien der verschiedenen High Level Tests verhindert dass Tests doppelt ausgef hrt werden oder dass L cher zwischen den Tests auftreten Au erdem ist man besser in der Lage die Tests zum richtigen Zeitpunkt durchzuf hren d h wenn bei einer bereinstimmenden Testintensit t die Testkosten zzgl der Korrektur und Regressionstestkosten am niedrigsten sind Diese Abstimmung setzt voraus dass bekannt ist welche High Level Tests geplant sind und was und mit welcher Intensit t in jedem High Level Test getestet wird Die Qualit t der Kommunikation zwischen Auftraggeber und Lieferant ist hierbei beraus wichtig Beide m ssen ihr gemeinsames Interesse daran zeigen Informationen ber die vom Lieferanten durchgef hrten Tests zu fordern bzw zu liefern Der Auftraggeber muss die richtigen Informationen einfordern und der Lieferant sollte einen klaren Einblick liefern was er zu testen plant und was nicht Sogeti Deutschland GmbH Version 1 01 28 03 06 14 Kontrollpunkte 1 B 1 Es erfolgt eine Abstimmung zwischen den verschied
21. daf r steht wie leicht es ist die Ursache f r Ausf lle herauszufinden Transparenz kann hergestellt werden z B durch urspr ngliche Spezifikationen die der Lieferant von Systemkomponenten bereitstellt bzw durch bereitgestellten Quellcode oder durch so genannte Testfenster in der Software die Zwischenergebnisse ausgeben Die H ufigkeit der Verwendung der Systemkomponenten Der m gliche Schaden wenn eine spezifische Komponente der Software versagt Die Verf gbarkeit von Test Ressourcen sowohl Personal als auch Test Infrastruktur Der Ausgangspunkt des Risikoanalyseteils der Teststrategie sind die funktionalen und nichtfunktionalen Anforderungen m gliche Standards oder Vorschriften und andere Beschr nkungen Beispiele k nnten Performanceanforderungen Sicherheitsvorschriften wie z B ISO 61508 und Speicherbeschr nkungen ISO Ressourcenverwendung sein Sicherheitsrelevante Systeme oder Systemkomponenten nehmen eine ganz besondere Rolle bei der Diskussion von Risiken ein Obwohl man auch hier zwischen gro em und geringem Einfluss bez glich der Sicherheit unterscheiden kann ist es v llig indiskutabel solche Bereiche nicht zu testen Die Sorgfalt des Testens und die eingesetzten Testspezifikationstechniken sind die Instrumente die sich durch die Risikoeinsch tzung beeinflussen lassen Obwohl ISO 61508 hier die M glichkeiten einschr nkt 1 A Teststrategie f r einzelne High Level Tests Beschreibung
22. dar ber im Klaren dass Testen weder ein geringer noch ein unwichtiger Aufwand ist Auch sollte das Bewusstsein vorhanden sein dass die Beteiligung von Repr sentanten des Auftraggebers oder des Lieferanten w hrend der Tests von hohem Wert sein kann bei der Gl ttung des Prozesses um mit Leichtigkeit mit Problemen die w hrend des Testes auftreten umzugehen Wichtig ist die Mitarbeiter ausreichend zu motivieren da dies einen direkten Einfluss auf die Produktivit t hat Ein Prozess kann noch so gut eingerichtet sein ohne gut motivierte Mitarbeiter ist das Endergebnis schlecht Da Motivation eine kaum messbare Gr e ist sind die Kontrollpunkte in Form verschiedener Aspekte dargestellt die eine Rolle bei der Motivation spielen Kontrollpunkte 11 A 1 Testen wird von den Beteiligten f r erforderlich und wichtig gehalten 11 A 2 Dem Testen wird eine bestimmte Menge an Zeit und Geld zugewiesen 11 A 3 Das Management lenkt das Testen anhand zeitlicher und finanzieller Mittel Ein Merkmal ist dass bei einer berschreitung der Testzeit oder des Testbudgets haupts chlich nach einer L sung innerhalb des Testens gesucht wird berstunden oder Einsatz zus tzlicher Mitarbeiter bei einer zeitlichen berschreitung oder K rzung von zeitlichen bzw finanziellen Mitteln der sp teren Testaktivit ten 11 A 4 Im Team sind ausreichende Kenntnisse und Erfahrungen im Bereich des Testens vorhanden um die Testaufgaben zu erledigen die dem Testtea
23. dass die Qualit t der Abweichungsfindung und der L sungen besser berwacht und dass die Kommunikation gestrafft wird Ein Basisverfahren f r die Abweichungsbehandlung ist in der folgenden Abbildung dargestellt Fehlerbeschreibung Analyse Forum Weitergabe an Test Fehlerbehebung ja Fehler w ird 7 Entscheidungsforum Das Analyseforum ist eine Arbeitsplattform an der u a Vertreter von Testern Sachverst ndigen und Entwicklern teilnehmen In diesen Besprechungen werden Entscheidungen ber die Behandlung der Abweichungen getroffen Wird man sich dabei nicht einig oder hat eine Abweichung zu gro e Auswirkungen greift man auf ein Entscheidungsforum zur ck In diesem Forum befinden sich Projektleiter und m glicherweise sogar Auftraggeber 16 B Umfangreiche Dokumentation der Abweichungen mit flexiblen Berichterstattungsm glichkeiten Beschreibung Von den Abweichungen werden verschiedene Daten festgehalten die f r eine gute Bearbeitung relevant sind Auf diese Weise ist sowohl bei der L sung als auch beim Regressionstesten deutlich auf welchen Teil der Testbasis oder des Testobjekts sich die Abweichung bezieht und bei welchem Testfall die Abweichung derzeit aufgedeckt wurde Durch umfangreiche Berichterstattungsm glichkeiten k nnen zus tzliche Informationen gesammelt werden die dabei helfen Trends so fr h wie m glich zu signalisieren M gliche Trends sind beispielsweise die Feststellung dass sich e
24. den OEM akzeptiert wurde als man ben tigt h tte w ren beide Tests separat durchgef hrt worden 1 C Kombinierte Strategie f r High Level Tests und Low Level Tests oder Pr fungsstufen Beschreibung Indem bei der Koordinierung auch die Low Level Tests oder Pr fungsstufen mit einbezogen werden bestehen noch mehr M glichkeiten zur Optimierung Die Low Level Tests haben im Vergleich zu den High Level Tests folgende Vorteile Sie erfordern wenig Kommunikation da der Entdecker eines Fehlers h ufig auch derjenige ist der ihn sowohl verursacht hat als auch behebt Sie finden Fehler in einer fr heren Phase des Systementwicklungsprozesses als die High Level Tests Verglichen mit Testen bedeutet Pr fen dass mehr in weniger Zeit und fr her im Entwicklungsprozess gefunden wird Da aber nicht alles gepr ft werden kann bleibt das Testen sehr wichtig Die Ausdehnung des Abstimmungsbereichs vom Testen auf Pr fen bietet viele zus tzliche M glichkeiten um den Aufwand zu optimieren Insbesondere nicht funktionale Qualit tsmerkmale wie Wartbarkeit Portabilit t oder Verl sslichkeit k nnen vorzugsweise eher gepr ft als getestet werden Sogeti Deutschland GmbH Version 1 01 28 03 06 17 Die Einbeziehung von Pr fungen oder Low Level Tests in die Gesamtteststrategie ist ein Gewinn f r den gesamten Testprozess da dies mehr M glichkeiten zur Optimierung schafft d h die wichtigsten Fehler werden so fr h und so kosteng
25. ein da dieser der Auftraggeber ist Sogeti Deutschland GmbH Version 1 01 28 03 06 90 Legen Sie das Verfahren f r das Management fest und erl utern Sie dieses Das folgende Beispiel verdeutlicht die Basisschritte Beispiel Die vier Schritte der Verfahrens Testware Management Lieferung Die zu verwaltenden Produkte werden von den Testern an den Testware Manager bergeben Die Produkte m ssen vollst ndig bergeben werden Mit Datum und Versionsnummer Der Manager berpr ft die Vollst ndigkeit Produkte in elektronischer Form sollte mit einer Standardnomenklatur bergeben werden die auch die Versionsnummer enth lt Registrierung Der Testwaremanager registriert die gelieferten Produkte in seiner Verwaltung mit Referenzen zu z B dem Lieferantennamen Produktnamen Datum und Versionsnummer Wenn er ge nderte Produkte registriert sollte der Manager berwachen dass die Konsistenz zwischen den unterschiedlichen Produkten gew hrleistet bleibt Archivierung Man unterscheidet zwischen neuen und ge nderten Produkten Im Allgemeinen werden neue Produkte dem Archiv hinzugef gt und ge nderte Produkte ersetzen die jeweils vorhergehende Version Referenz Die Ausgabe von Produkten an Projektteammitglieder oder an Dritte erfolgt durch eine Kopie der angeforderten Produkte Der Manager erfasst welche Version der Produkte wann an wen ausgegeben wurde Pr fen Sie die M glichkeit Tools zur Ko
26. eines Phasenmodells ist dabei besonders wichtig Ferner ist auf einer bestimmten Ebene Bericht zu erstatten Dokumentation der Abweichungen Ebene A interne Dokumentation der Abweichungen Voraussetzung f r eine Teilnahme an der Auswertungsbesprechung ist die korrekte interne Verwaltung der Fehler und Abweichungen Optimierungsvorschl ge Sorgen Sie daf r dass der Test in der Projektbesprechung von jemandem vertreten wird der nicht noch zus tzlich f r andere Aktivit ten insbesondere Entwicklungsaktivit ten verantwortlich ist Ansonsten besteht das Risiko dass vom Testen ausgehende Signale zu sehr abgeschw cht werden Stellen Sie ein Verfahren f r die periodisch stattfindenden Auswertungsbesprechungen auf Vergessen Sie dabei nicht die M glichkeit einer Eskalation und eines Eskalationsverfahrens bei Fehlern die den Testfortschritt blockieren Es ist besonders wichtig dass in dieser Besprechung sowohl Vertreter des Auftraggebers als auch des Lieferanten anwesend sind Diese Vertreter m ssen mit der Autorit t ausgestattet sein ber Priorit ten nderungen von Lieferungen und geplante Lieferdaten zu entscheiden Beginnen Sie mit den Auswertungsbesprechungen widmen Sie dabei dem Lerneffekt der Formulierung von Fehlern entsprechende Aufmerksamkeit Tester schreibt nur Berechnung stimmt nicht Programmierer erwartet hier In Zeile 124 in Programm 23a steht ein anstatt eines das muss zu einer Vereinbaru
27. f r den der Einsatz des Phasenmodells eine Voraussetzung ist Testspezifikationstechniken Ebene B formale Techniken Die Koordination der unterschiedlichen Tests erfordert einen tieferen Einblick in die Qualit t und die Tiefe jedes einzelnen Tests Das hei t dass formalere Testspezifikationstechniken eingesetzt werden m ssen Engagement und Motivation Ebene B Testen ist in die Projektorganisation eingebettet Um die Koordination zu etablieren ist das Engagement des Projektmanagements erforderlich Daher muss das Management bem ht sein einen Einblick in die Qualit t und Intensit t des Testens zu erhalten Kommunikation Ebene B Projektkommunikation Analyseforum nderungs berwachung Eine Abstimmung zwischen den Teststufen und dem brigen Projekt hat w hrend des gesamten Testprozesses zu erfolgen Testprozessmanagement Ebene B Planung Durchf hrung berwachung und Anpassung Einsicht in die Qualit t eines jeden Tests bedeutet dass man sich nicht nur auf Pl ne verl sst vielmehr muss eine berwachung und Anpassung der Testprozesse stattfinden sofern relevant Integrationstests Ebene B Teststrategie f r Integrationstests Im Falle dass Integrationstests auf High Level Tests fokussiert sind Dies ist einer der High Level Tests der Bestandteil der bergreifenden Teststrategie sein muss Optimierungsvorschl ge Fangen Sie damit an Informationen dar ber zu sammeln was die verschiedenen Tests bewir
28. fen 20 Low Level Tests 21 Integrationstests Sogeti Deutschland GmbH Version 1 01 28 03 06 113 23 BERBLICK BER DIE ABH NGIGKEITEN Bei jeder Ebene sind in Klammern die Abh ngigkeiten von anderen Ebenen angegeben Beim Kernbereich Teststrategie Ebene A stehen beispielsweise zwei Abh ngigkeiten 5a und 11a Die Nummer weist auf den Kernbereich hin und der Buchstabe auf die Ebene In diesem Beispiel ist die Ebene A der Teststrategie also von den Testspezifikationstechniken Ebene A und Engagement und Motivation Ebene A abh ngig kernberein a oe ee O Teststrategie Strategie f r einzelne Kombinierte Strategie Kombinierte Strategie f r alle High Level Tests 5a f r High Level Tests Strategie f r High Test und 11a 2a 5b 11b 14b 18b Level Tests und Pr fungsstufen 3c und abh ngig vom Low Level Tests 19c 20c 21b Bereich des oder Integrationstests 21b Pr fungsstufen 3c 19c oder 20c oder 21b im Falle einer Low Level Integration 2 Einsatz des Planung Planung Vorbereitung Phasenmodells Spezifikation Spezifikation Durchf hrung 11a Durchf hrung und Abschluss 6a 17a 3 Zeitpunkt der Fertigstellung der Aufstellen der Testbasis Aufstellen der Beginn des Projekts Beteiligung Testbasis 2a 2b Anforderungen 11c 4 Kostenvoranschlag un
29. formale Rolle im Projekt hat Der Integrator gibt mehr Fokus in den Integrationsprozess kann das Bewusstsein steigern und den Reifegradprozess initiieren 21 B Teststrategie f r die Integration Beschreibung Die Kombination der Komponenten und die Reihenfolge der Tests werden von den erkannten Risiken beeinflusst Trotz korrekten Modultests kann eine Integration dennoch fehlschlagen Kontrollpunkte 21 B 1 Die Sequenz der Lieferungen und die Eingangskriterien f r die zu liefernden Komponenten werden zwischen Integrator und Komponentenlieferant en abgestimmt und vom Integrator koordiniert und dokumentiert 21 B 2 Die Anzahl und die Reihenfolge der Integrationsschritte basieren auf einer bewussten berlegung der erwarteten Risiken des Produkts oder der Produktkomponenten der technischen Restriktionen und der Auswirkungen der Ver nderungen 21 B 3 Eingangskriterien f r die Komponenten und Ausgangskriterien f r die Integrationstests wurden definiert dokumentiert und angewendet Diese Kriterien werden vorzugsweise in Form von erreichter Testabdeckung und oder von ungel sten Abweichungen definiert 21 B 4 Es gibt eine Differenzierung in der Testtiefe abh ngig von den Risiken und sofern vorhanden von den Eingangskriterien und Ausgangskriterien Nicht alle Komponenten Varianten und Versionen werden gleicherma en gr ndlich getestet und nicht alle Qualit tskriterien werden gleicherma en gr ndlich getestet Sogeti D
30. ist eine berpr fung der Testbarkeit der Spezifikationen notwendig um herauszufinden ob die gew hlte formale Methode auf die zugrunde liegende Spezifikation angewendet werden kann Formale Methoden der Ebene 1 sind eine Mischung aus diskreter Mathematik und Logik Text und Diagrammen Die berpr fung dieser Art von Spezifikationen muss die anderen Pr fer berzeugen dies bedeutet die Pr fung muss sehr sorgf ltig dokumentiert werden Formale Methoden der Ebene 2 verwenden eine reale Spezifikationssprache basierend auf den Prinzipien der Logik diskreter Mathematik und Programmierung Formale Methoden der Ebene 3 basieren auf Standardlogik und werden von Logikpr fern Theorempr fern und Modellpr fern unterst tzt Der Einsatz formaler Methoden h ngt von der Notationstechnik ab die f r die Spezifikationen verwendet wird Daher ist es notwendig dass es schon fr h im Projekt klar ist dass formale Methoden f r die Validierung oder Verifizierung notwendig oder erw nscht sind Aus diesem Grund muss bei der Erstellung der Spezifikationen eine Notationstechnik verwendet werden die sich mit formalen Methoden analysieren l sst Die Definition und Beschreibung formaler Methoden basiert auf Ruhsby 1995 Kontrollpunkte 5 C 1 Mindestens eine mathematische Methode wird zur Ableitung von Testf llen eingesetzt Sogeti Deutschland GmbH Version 1 01 28 03 06 37 Optimierungsvorschl ge Beginnen Sie mit einer Konsistenzanalyse
31. oder Software Komponenten ber Testf lle Testberichte Zertifikate etablierte Anwenderbasis etc Die Transparenz der Hardware oder Software Komponenten Transparenz sagt aus wie leicht man herausfinden kann wie das Teil arbeitet und sie ist wichtig f r die Fehleranalyse Transparenz l sst sich z B erreichen durch Originalspezifikationen die vom Hersteller der Hardware oder Software Komponenten bereitgestellt werden indem man den Quellcode zur Verf gung stellt durch so genannte Testfenster in der Software oder durch die Anzeige von Zwischenergebnissen Die H ufigkeit der Verwendung der Hardware oder Software Komponenten Der m gliche Schaden wenn ein spezifischer Teil der Software ausf llt Die Verf gbarkeit von Test Ressourcen sowohl Personal als auch Testinfrastruktur 21 C Standardisierter Ansatz f r die Integration Beschreibung Der Ansatz f r die Integration wird in Vorgehensweisen dokumentiert Diese Prozeduren sind jedoch nicht statisch sondern sie werden auch aufgrund praktischer Empfehlungen angepasst und gepflegt Hieraus resultiert ein Standardvorgehen f r Integrationstests innerhalb der Firma anwendbar f r alle Projekte und der Integrator hat Einfluss auf die Lieferungsreihenfolge der Hardware und Software Komponenten Sogeti Deutschland GmbH Version 1 01 28 03 06 111 Kontrollpunkte 21 C 1 Die Prozeduren sind in einem generischen Ansatz f r die Orga
32. r die berwachung des Einsatzes der Methodik verantwortlich Sorgen Sie f r Checklisten auf deren Grundlage die berwachung stattfindet Sogeti Deutschland GmbH Version 1 01 28 03 06 97 19 PR FEN Unter Pr fungen versteht man die berpr fung von Zwischenprodukten beispielsweise das Fachkonzept Dies ist der wichtigste Unterschied zum Testen das sich auf die Endprodukte bezieht Pr fen wird oft als Teil der Qualit tssicherungsma nahmen organisiert und nicht als Teil der Testaktivit ten Es ist daher nicht sicher dass die Tester daran beteiligt sind Im Vergleich zum Testen liegt der Vorteil von Pr fungen darin dass Abweichungen im Entwicklungsprozess sehr viel eher entdeckt werden k nnen Die Korrekturkosten sind dadurch wesentlich niedriger Au erdem kann eine Beurteilung sehr viel einfacher durchgef hrt werden da u a keine Programme laufen und keine Testumgebungen geschaffen werden m ssen 19 A Nichtformale Pr fungen Beschreibung Pr fungen Kontrollen etc erweisen sich immer und immer wieder als der effizienteste und effektivste Weg Abweichungen in einem System oder in seinen Zwischenprodukten aufzudecken Kontrollpunkte 19 A 1 Checklisten werden in Kombination mit 4 Augen berpr fungen f r die Pr fung eingesetzt 19 A 2 Es findet eine Berichterstattung der Pr fungen und der gefundenen Ergebnisse statt 19 A 3 Es erfolgt eine berwachung der Bearbeitung der Ergebnisse 19 A 4 Tester un
33. ten bzw Aspekten versehen Diese dienen als zus tzliche Informationen und sind daher lediglich als M glichkeiten anzusehen Sogeti Deutschland GmbH Version 1 01 28 03 06 25 F r die Vorbereitungsphase Aktivit t Teilaktivit ten Aspekte Produkt Detail berpr fung Testbasis berpr fen ob die Testbasis f r die ausgew hlten Testspezifikationstechnik en geeignet ist Bestimmung der relevanten Dokumentation Erstellen von Checklisten zur berpr fung Beurteilung Dokumentation berpr fung Erstellen Bericht zur Testbarkeit Unstimmigkeiten zur Testbasis Bericht Testbarkeit F r die Abschlussphase Aktivit t Teilaktivit ten Aspekte Produkt Konservieren der Testware Archivieren der Testware vollst ndig und Aktualisieren der Testware in der Form dass sie f r andere zuk nftige Testprozesse wieder verwendbar ist Auswahl der zu konservierenden Testware Sammeln und Aktualisieren der Testware bertragung der Testware Testware Bewertung des Testobjekts Bestimmung der offen stehenden Abweichungen und festgestellten Trends Bestimmung der Risiken bei Freigabe Formulierung einer Empfehlung Freigabeempfehlung festgelegt im Abschlu bericht Bewertung des Testprozesses Bewertung der Teststrategie Planung versus Realisierung Festgelegt im Absc
34. tun dies auf der Basis der Anzahl abgeschlossener Testf lle je Zeiteinheit Es stellt sich heraus dass Tester 1 erheblich weniger Testf lle je Zeiteinheit als Tester 2 erstellt Der Grund hierf r liegt jedoch darin dass Tester 1 der bessere Tester als der zweite ist und er daher die komplexesten Tests spezifizieren muss Sorgen Sie daf r dass Metriken als ein permanenter Bestandteil der Dokumentvorlagen f r die Abschluss Berichte und Testpl ne zur Begr ndung von Testkostenvoranschl gen angesehen werden 7 B Projektmetriken ber Prozess Beschreibung Neben den Input und Output Metriken der vorigen Ebene werden auch auf dieser Ebene die Ergebnismetriken ber cksichtigt Wie gut testen wir eigentlich Die Anzahl der gefundenen Fehler alleine ist nicht so aussagekr ftig denn viele gefundene Fehler hei t nicht per Definition dass gut getestet wurde denn es kann auch schlecht implementiert worden sein Andererseits gilt dass wenige gefundene Fehler bedeuten k nnen dass gut implementiert aber unzureichend getestet wurde Sogeti Deutschland GmbH Version 1 01 28 03 06 43 Solche Informationen sind einerseits n tzlich um die Qualit tsempfehlung zu untermauern und sie k nnen gleichzeitig als Input zur Verbesserung des Testprozesses dienen Wenn der Testprozess verbessert ist muss das in irgendeiner Weise kontrollierbar sein Die Metriken helfen die Ergebnisse der Verbesserungen sichtbar zu machen Um einen kla
35. und berpr fungen kann zwar ein sehr positives Bild der Qualit t eines Systems vermitteln wenn jedoch anschlie end im produktiven Einsatz eine ganze Reihe von St rungen auftreten muss dies in das Gesamturteil mit einflie en Kontrollpunkte 7 C 1 Die oben genannten Metriken werden f r die Neuentwicklung die Wartung und den Praxiseinsatz gef hrt 7 C 2 Die Metriken werden bei der Beurteilung der Effektivit t und Effizienz des Testprozesses verwendet Abh ngigkeiten Reichweite der Methodik Ebene C Organisationsgenerisch Das F hren von Metriken f r ein System erfordert dass die Informationen die von verschiedenen Seiten angeliefert werden miteinander vergleichbar sind Eine generische Testmethode ist hierf r eine Vorbedingung Kommunikation Ebene C Kommunikation ber die Qualit t der Testprozesse auf Organisationsebene Das endg ltige Ziel bei der Sammlung von Metriken f r Systeme besteht darin zu einer Verbesserung von Test Prozessen zu gelangen Die Metriken sind daher im Rahmen einer Koordinierungsbesprechung zu er rtern Testprozessmanagement Ebene C berwachung und Anpassung in der Organisation Die f r die Metriken erforderlichen Daten stammen von verschiedenen Prozessen Die Zuverl ssigkeit dieser Daten ist von gr ter Bedeutung das erfordert eine Verwaltung auf Organisationsebene Optimierungsvorschl ge Fangen Sie so fr h wie m glich damit an die Effektivit t der Fehlersuche Anzah
36. und Hardware genutzt werden Untersuchen Sie ob bestimmte High Level Tests nicht vorzugsweise w hrend der Low Level Tests oder Pr fungen und umgekehrt ausgef hrt werden k nnen Die berpr fung auf Normen und Standards der Software Qualit tsmerkmal Wartbarkeit kann beispielsweise Teil eines Tests oder einer Pr fung sein Beispiel W hrend der Entwicklung eines adaptiven Geschwindigkeitskontrollsystems ACC adaptive cruise control werden die Tests unter der Verantwortung eines Test Koordinators gemeinsam koordiniert Das System besteht aus einem ACC Steuerger t ESP Steuerger t Motorsteuerger t und Getriebesteuerger t die von vier unterschiedlichen Lieferanten entwickelt werden Der OEM wird dann die vier Steuerger te integrieren und das integrierte System testen Um sicherzustellen dass er die richtige Qualit t erh lt wird gemeinsam mit den Lieferanten eine risikobasierte Teststrategie entwickelt Hier wird entschieden worauf sich die Lieferanten bei ihren Tests konzentrieren sollen Basierend auf dieser risikobasierten Teststrategie werden Eingangs und Ausgangskriterien definiert Als Teil der Eingangskriterien wird f r jedes Steuerger t ein Eingangstest formuliert Dieser Test wird vom OEM durchgef hrt und die Beschreibung dieses Tests wird an den Lieferanten kommuniziert Wenn das Steuerger t den Test nicht erfolgreich durchl uft wird es an den Lieferanten zur ckgesandt Die Anforderungen werden gemeinsam mit de
37. und wie viel Ressourcen Personal daf r ben tigt werden Ein qualitativ guter Kostenvoranschlag und eine ebenso gute Planung sind sehr wichtig da auf dieser Grundlage die erforderliche Kapazit t reserviert wird Unzuverl ssige Kostenvoranschl ge und Planungen verursachen h ufig eine Verz gerung da nicht ausreichend viel Ressourcen zugewiesen werden um die jeweiligen Aktivit ten in der vorgegebenen Zeit auszuf hren oder sie bewirken einen weniger effizienten Einsatz der Ressourcen weil zuviel davon zugewiesen wurden 4 A Fundierter Kostenvoranschlag und Planung Beschreibung Ein erster wichtiger Schritt bei der Erstellung von Testplanung und Kostenvoranschlag ist die Begr ndung des Kostenvoranschlags f r den Testaufwand Ein fundierter Kostenvoranschlag verf gt meistens ber eine h here Qualit t da dieser zuverl ssiger ist und die Ressourcen effizienter zuweist Wenn eine Abweichung auftritt kann besser analysiert werden ob es sich hierbei um einen einmaligen Fall handelt oder ob die Abweichung einen strukturellen Charakter hat Im letzten Fall muss wahrscheinlich die gesamte Planung und m glicherweise sogar die Art der Erstellung des Kostenvoranschlags berarbeitet werden Eine strukturierte Arbeitsweise macht eine kontinuierliche Verbesserung m glich Ein optimaler Kostenvoranschlag sowie eine optimale Planung sind sehr wichtig Auch wenn dies gegeben ist so ist die Realit t doch meist nicht so vorhersehbar dass die
38. weniger sinnvoll wenn andere Tests bereits in einem fortgeschritteneren Stadium sind Ein zus tzlicher Vorteil besteht darin dass die Testvorbereitungen fr her beginnen und Fehler dadurch eher gefunden werden Kontrollpunkte 3 B 1 Die Aktivit t Testen startet gleichzeitig oder fr her als die Phase in der die Testbasis h ufig der funktionale Entwurf aufgestellt wird Abh ngigkeiten Einsatz des Phasenmodells Ebene B vollst ndiges Phasenmodell Planung Vorbereitung Spezifikation Durchf hrung und Abschluss Die Vorbereitungsphase deckt meistens verschiedene Abweichungen zur Testbasis auf Es ist wichtig dass diese Unstimmigkeiten so schnell wie m glich gefunden werden da die Korrekturkosten dann am niedrigsten sind Optimierungsvorschl ge Abstimmung mit anderen Tests ber die Testabdeckung der Qualit tsmerkmale aber auch ber den Betrachtungsbereich des Tests beispielsweise berpr ft der Systemtest die Schnittstelle mit dem anderen System oder nicht Stellen Sie sicher dass eine zeitnahe Detail berpr fung der fertig gestellten Elemente der Testbasis ausgef hrt werden kann Engagieren Sie einen Testkoordinator der die Tests miteinander abstimmt und diese Abstimmung weiterhin berwacht berlegen Sie anderen Teststufen Einblick in die spezifizierten Testf lle zu geben Der Vorteil liegt darin dass andere Tests von diesen Testf llen Gebrauch machen k nnen um Fehlinterpretationen fr hzeitig
39. werden 12 A 2 Die Aufgaben und Zust ndigkeiten einschlie lich der erforderlichen Expertise und m glicher Schulungen sind festgelegt 12 A 3 Das Testpersonal hat eine spezifische Testausbildung absolviert beispielsweise Testmanagement und Testspezifikationstechniken oder verf gt ber ausreichende Erfahrungen auf dem Testgebiet 12 A 4 F r den Test stehen dem Testteam die Fachkenntnisse aus dem Anwendungsbereich zur Verf gung Dies gilt insbesondere f r den Abnahmetest Abh ngigkeiten Keine Optimierungsvorschl ge Sorgen Sie daf r dass Tester Testintegrator und Testmanager entsprechende Testausbildungen absolvieren Nehmen Sie im Testplan Funktionsbeschreibungen auf in denen angegeben ist wer welche Aufgaben aus bt Sogeti Deutschland GmbH Version 1 01 28 03 06 66 K mmern Sie sich rechtzeitig um die erforderlichen Fachkenntnisse insbesondere bei Abnahmetests 12 B Formale methodische technische und funktionale Unterst tzung Management von Testprozess Testware und Infrastruktur Beschreibung Neben dem Einsatz von sachkundigen Testern ist es wichtig im Testprozess Unterst tzung und Management zu organisieren Bei einer methodischen Unterst tzung muss beispielsweise an die Einrichtung des Testprozesses gedacht werden wie etwa das Aufstellen von Vorschriften und die Bestimmung der Teststrategie Technische Unterst tzung ist erforderlich um die Infrastruktur einzurichten und zu bedienen
40. AUSSTATTUNG 58 Ad quate und rechtzeitige Einrichtung der B ro und Laborausstattungen 58 ENGAGEMENT UND MOTIVATION 60 Zuweisung von Budget und Zeit ursusansansennennennnnnnnnnnnnnun nun nun nun nenn nun nun 60 Testen in Projektorganisation integriert zssuursen nenne nan san annennnnnnn nun nnnnnnn 61 Testengineeringesu nee 63 TESTFUNKTIONEN UND AUSBILDUNGEN 66 Testmanager Integrator und Tester zessssnneennennnnnennnenn nun ann une nun nennen nen 66 Formale methodische technische und funktionale Unterst tzung Management von Testprozess Testware und Infrastruktur zuserssunnenenen en en nennen nun nennen nn 67 Formale interne Pr fung 2u4 ssen nennen een nnnnn nn nun nenn nun nun nun nenne a Va ENAKAN 68 REICHWEITE DER METHODIK 70 Projektspezifisch ns ee ee 70 Projektspezifisch mit externem Betrachtungsbereich usz244s0s0sen nn nenn nenn 71 Organisationsgenerisch a san ae ara 72 Organisationsoptimierend F amp E Aktivit ten unesnsennnnnnnnenenenennnnnnennnnnennn een 73 Sogeti Deutschland GmbH Version 1 01 28 03 06 2 14 15 16 17 14 A 14 B 14 C 15 A 15 B 15 C 15 D 16 A 16 B 16 C 17 A 17 B 17 C 18 A 19 A KOMMUNIKATION 75 Interne Kommu nik ation ee ae be 75 Projektkommunikation Abweichungen nderungs berwachung 75 Kommunikation ber die Qualit t der Testprozesse auf Organisationsebene 78 BERICHTER
41. Entwickler Tester aber auch das Projektmanagement sollte sich dessen bewusst sein dass der Return on Investment der Planung und der Testvorbereitung in k rzeren Durchlaufzeiten f r die Testdurchf hrung und einer h heren Qualit t der durchgef hrten Tests besteht Da die Testdurchf hrung blicherweise auf dem kritischen Pfad liegt wird auch die Durchlaufzeit des Gesamtprojekts k rzer Auch muss man allen genannten Parteien bewusst machen dass ein Low Level Test von guter Qualit t zu insgesamt niedrigeren Nacharbeitungskosten f hrt Boehm 1981 Setzen Sie Testerfahrung ein um die Low Level Tests in Gang zu setzen Stellen Sie sicher dass eine gewisse Unabh ngigkeit zwischen dem Tester von Low Level Tests und dem Entwickler besteht z B Aufstellen der Testf lle der Funktion X durch eine andere Person als dem Entwickler dieser Funktion Sogeti Deutschland GmbH Version 1 01 28 03 06 104 Die Specialist Interest Group In Software Testing SIGIST der British Computer Society BCS hat den Standard for Software Component Testing bei der Britischen Normierungsbeh rde British Standards Institution BSI eingereicht um diese zu nationalen und dann internationalen Standards werden zu lassen BS 7925 2 software component testing spricht das Gebiet des Unit Tests an Der Standard beschreibt einen generischen Testprozess um ein konsistentes Referenzmodell innerhalb des Standards zu bieten Es be
42. In einem gut organisierten Prozess k nnen Tools gewiss einen wichtigen Mehrwert darstellen sie haben jedoch bei einem unzureichend organisierten Testprozess eher kontraproduktive Auswirkungen Testautomatisierung erfordert die Wiederholbarkeit und Standardisierung der zu unterst tzenden Aktivit ten Ein unstrukturierter Prozess kann diesen Bedingungen nicht entsprechen 8 A Einsatz von Testtools Beschreibung Auf dieser Ebene werden automatisierte Hilfsmittel eingesetzt die einen offensichtlichen Vorteil bieten Kontrollpunkte 8 A 1 Es wurde die Entscheidung getroffen bestimmte Aktivit ten in den Phasen Planung und oder Durchf hrung zu automatisieren Das Testmanagement sowie die Partei die die Investition in die Tools t tigt im Allgemeinen das Linienmanagement oder das Projektmanagement sind an dieser Entscheidung beteiligt 8 A 2 Es werden automatisierte Hilfsmittel eingesetzt die bestimmte Aktivit ten in der Phase Planung und Durchf hrung unterst tzen z B ein Planungstool ein Tool zur Erfassung der Dokumentation der Abweichungen und oder selbstprogrammierte Stubs und Drivers Codepr fer MiL SiL und HiL 8 A 3 Das Testmanagement und die Partei die die Investition in die Tools t tigt erkennen dass die eingesetzten Tools mehr Vor als Nachteile bieten Abh ngigkeiten Keine Optimierungsvorschl ge Setzen Sie vorzugsweise in der Organisation bestehende Tools ein pr fen Sie ob diese die Anforderunge
43. Kodierung Komponenten Komponententest Kontrollpunkte Lebenszyklus Low Level Tests Mastertestplan Metriken MiL Model Checker Ein Prozess von Kombinationen verschiedener Komponenten zu gr eren Einheiten Eine Entscheidung wie verschiedene Komponenten in ein komplettes System integriert werden sollen Integrationsstrategien sind big bang top down und bottom up Integration Ein Test der nachweisen soll dass das Zusammenspiel von Programmkomponenten den in den technischen Spezifikationen gestellten Anforderungen entspricht Die Transformation von Logik und Daten von Designspezifikation Designbeschreibung in die Programmsprache Hierbei kann es sich um Hard oder Software handeln die f r die eine separate Spezifikation vorhanden ist Eine Komponente kann wiederum in einzelne Komponenten unterteilt werden Der Test von einzelnen Komponenten oder zusammenh ngenden Komponenten als Gruppe Zur objektiven Bestimmung der Ebene verf gt das TPI Model ber Messinstrumente den so genannten Kontrollpunkten Ein Lebenszyklus strukturiert den Prozess indem er ihn in Phasen einteilt und beschreibt Der Prozess einzelne Komponenten allein oder in Kombination zu testen Ein Testplan in dem die unterschiedlichen Test und Pr fungsstufen abgestimmt werden Die objektiven quantitativen und gesammelten Anhaltspunkte um die Eigenschaften eines Produktes oder eines Prozesses zu berwachen Model i
44. S des Bremssystems wird erg nzt durch ein elektronisches Bremssystem das die Handbremse ersetzen kann Das ABS und das Steuerger t werden von dem Lieferanten entwickelt der dies zuvor schon f r ein Vorg ngermodell entwickelt hat Die Software f r das elektronische Bremssystem wird von einem anderen Lieferanten entwickelt Dieser Lieferant kann den Systemtest nicht auf der Zielhardware durchf hren da diese planm ig erst zu einem deutlich sp teren Zeitpunkt im Projekt bereitgestellt wird Lieferant und OEM entscheiden den Systemtest und den Akzeptanztest zusammenzufassen Der Softwarelieferant wird die Testf lle f r den Systemtest erstellen und diese werden vom OEM gepr ft Der Systemtest wird von OEM und Lieferant gemeinsam durchgef hrt Der Lieferant wird diese Tests mit seinen eigenen Testf llen f r den Akzeptanztest kombinieren Durch die Kombination dieser Tests kann die Testumgebung Fahrzeugprototyp sehr effizient genutzt werden Die kombinierte Testdurchf hrung hat den Vorteil dass sich das Verst ndnis des Systems durch den OEM verbessert und dass sich die Fehleranalyse durch die direkte Unterst tzung des Lieferanten einfacher gestaltet Obwohl der Test mit einem Softwareprodukt starten muss das nicht die erforderliche Qualit t aufweist um den Akzeptanztest zu starten hat die Realit t gezeigt dass der kombinierte System und Akzeptanztest zu einem Produkt gef hrt hat das mit einem minimalen Risiko in weniger Zeit durch
45. STATTUNG 80 Abweichungen ss iyoni nahe a nn BR ne 80 Fortschritt einschlie lich Priorit tenzuweisung und Berichterstattung ber Zeitaufwand und Testfortschritt u4 s4ennennnn nennen nenn nun nun nun nennen nun nennen 81 Risiken und Empfehlungen anhand von Metriken ss sssssssssssesrrrrsrerrrrrsesrrrrs 82 Empfehlungen haben einen Software Process Improvement Charakter 83 DOKUMENTATION DER ABWEICHUNGEN 85 Interne Dokumentation der Abweichungen uz usaurnenennen nun namen nen nun nn nnen 85 Umfangreiche Dokumentation der Abweichungen mit flexiblen Berichterstattungsm glichkeiten u44444Rran nn nnnn nn nn nennen nenne nun nan namen 86 Dokumentation der Abweichungen wird im gesamten Projekt eingesetzt 87 TESTWARE MANAGEMENT 90 Internes Testware Management ssseeseenenennenennnn nennen nennen nun nennen ernennen 90 Externe Verwaltung der Testbasis und des Testobjekts und Zuordenbarkeit von Systemanforderungen zu Testf llen s4u44H4an Hann nenne nun nun nun en nen nun nn namen 91 bertragbare Testware sung 93 TESTPROZESSMANAGEMENT 95 Planung und Durchf hrung zs4 ssasnan nenn ernennen nennen nnn nun nun nennen nn nun na nnnen 95 Planung Durchf hrung berwachung und Anpassung zaseensensnenenenennnnnnnnennn 96 berwachung und Anpassung in der Organisation uesseeensseenssennnnennnnnnenennn 96 PR FEN 98 Nichtformale Pr fungen aussen anna aan a ai 98 Pr fungst
46. Sie ung nstigen Weise bewertet wird Schlie lich besteht noch das Risiko dass die Messungen manipuliert werden um die gesetzten Ziele um jeden Preis zu erreichen Bei einer bottom up Vorgehensweise Hetzel 1993 werden die Zwischen Produkte die Vorgehensweise und die beteiligten Personen als Grundlage f r die Messungen betrachtet F r jedes Zwischenprodukt wird ein Grundstock an Messungen vorgeschlagen Input Informationen ber die verwendeten Ressourcen Menschen Computer Tools andere Produkte usw und die Prozessschritte oder Aktivit ten die ausgef hrt werden Output Informationen ber die freizugebenden Produkte Ergebnis Informationen ber den Einsatz und die Effektivit t der freigegebenen Produkte in Bezug auf die gestellten Anforderungen Das wichtigste Argument f r die bottom up Vorgehensweise ist dass die erhaltenen Informationen ausreichen um fast jede Frage zu beantworten Diese Methode hilft bei der Feststellung der Ziele f r die Testprozessoptimierung Bei beiden Vorgehensweisen ist das Engagement des Managements eine notwendige Voraussetzung Sogeti Deutschland GmbH Version 1 01 28 03 06 41 Ohne der top down Vorgehensweise Abbruch tun zu wollen haben wir uns bei der Ausarbeitung dieses Kernbereichs f r die bottom up Vorgehensweise entschieden Diese Methode st tzt sich auf bestimmte Basisdaten Jede Organisation verf gt zur Festlegung dieser Basisdaten ber mehr oder weniger ausgepr g
47. TPI Automotive Test Process Improvement Deutsche bersetzung Version 1 01 Autor Sogeti Deutschland GmbH Datum 21 03 2006 Sogeti Deutschland GmbH Version 1 01 28 03 06 1 ww ww oov gt Ap u gt oo UU u gt ou gt NNNN uvnu gt o m Co e O 2 www oort gt owr nu 11 A 11 B 11 C 12 12 A 12 B 12 C 13 13 A 13 B 13 C 13 D EINLEITUNG 4 TESTSTRATEGIE 10 Teststrategie f r einzelne High Level Tests 44 sr n san nnnnen nennen man namen 11 Kombinierte Teststrategie f r High Level Tests u44u44n Hann en nennen nn aneen 14 Kombinierte Strategie f r High Level Tests und Low Level Tests oder Pr fungsst fen ua nn ae a ANTEA RENEE EAA EENEN 17 Kombinierte Strategie f r alle Test und Pr fungsstufen ussersansanean een 19 EINSATZ DES PHASENMODELLS 21 Planung Spezifikation Durchf hrung 4ss4srHnnnnan nn nn nennen nn nun anennn 21 Vollst ndiges Phasenmodell Planung Vorbereitung Spezifikation Durchf hrung und Abschluss 44er eh een 25 ZEITPUNKT DER BETEILIGUNG 28 Fertigstellung der Testbasis u une ee ea 28 Aufstellen der Testbasis 0 000 0 aan a a a ne 29 Aufstellen der Anforderungen uuresrernennnnnnnennnnnnn nun nun nen nun nun nun nun nennen nen 29 Beginn des Projekts u es ea ra a a 30 KOSTENVORANSCHLAG UND PLANUNG 32 Fundierter Kostenvoranschlag und Planung z4 s4 nHHn ran nennen nun nun namen 32
48. Testumgebung wird verwaltet Einrichtung Verf gbarkeit Wartung Versionsverwaltung Soft und Hardware St rfallbehandlung Autorisierungen Systemkomponenten die von Lieferanten und Dritten bereitgestellt werden usw Die Konfiguration wird aktualisiert und spiegelt die Erwartungen der n chsten Teststufe wider 9 A 4 Speicherung und Wiederherstellen bestimmter Testsituationen mit der zugeh rigen Version der Testumgebung ist schnell und einfach durchf hrbar Im Fall eines Prototypfahrzeugs das nur f r eine begrenzte Zeit zur Verf gung steht Sogeti Deutschland GmbH Version 1 01 28 03 06 54 wird dies sp ter im Projekt kaum m glich sein In diesem Fall kann dieser Kontrollpunkt unber cksichtigt bleiben 9 A 5 Die Umgebung ist ausreichend repr sentativ f r den auszuf hrenden Test Dies h ngt vom Testumfang und von der Testart ab Im Allgemeinen gilt je weiter man sich im Testverlauf in Richtung Vorserie bewegt desto mehr muss die Testumgebung der realen Umgebung gleichen 9 A 6 Die Hardware und Software Anforderungen an die Testumgebung sind wohl definiert verstanden und dokumentiert 9 A 7 Die Testumgebung die vom Auftraggeber bereitgestellt wird z B Prototyp externe Steuerger te oder Fahrzeugprototyp ist gut definiert und dokumentiert 9 A 8 Auftraggeber und Lieferant sollten die Konfiguration der gemeinsam genutzten und der individuell genutzten Testumgebung koordinieren Abh ngigkeiten Test
49. Tiefe der Tests entstehen Die Tests sind besser wieder verwendbar 5 A Nicht formale Techniken Beschreibung Die Verwendung von nicht formalen Techniken bedeutet dass der Person zur Erstellung von Testspezifikationen viel Spielraum f r die Aufstellung von Testf llen gelassen wird Dadurch wird die Qualit t des Tests stark von der Sach Kenntnis dieser Person abh ngig und der Deckungsgrad ist in Bezug auf die Testbasis unklar Diese Vorgehensweise ist jedoch immer noch weit besser als dass jeder Tester f r sich Testf lle ausdenkt ohne sich um die Dokumentation dieser Tests zu k mmern Bei der Spezifikation von Testf llen ist es sehr wichtig die erwarteten Ergebnisse zu spezifizieren da die Kontrolle im nachhinein unter dem Zeitdruck der Testdurchf hrung h ufig nicht gr ndlich genug erfolgt das Ergebnis ist 990 ich hatte einen Wert zwischen 800 und 1 000 erwartet also stimmt dies wahrscheinlich Kontrollpunkte 5 A 1 Die Testf lle werden anhand der beschriebenen Testspezifikationstechnik aufgestellt 5 A 2 Die Testspezifikationstechnik erfordert mindestens eine Beschreibung von a Anfangssituation b Verarbeitungsprozess auszuf hrende Testaktionen c erwartetes Endergebnis Abh ngigkeiten Keine Optimierungsvorschl ge berzeugen Sie die Tester von der Wichtigkeit die erwarteten Ergebnisse vorab zu berlegen und zu dokumentieren Sorgen Sie f r eine Beschreibung der Spezifikationstechnik Vers
50. Wenn auch Low Level Tests und Integrationstests Gegenstand der Analyse sind so sind auch die Kernbereiche 20 und 21 anwendbar In Situationen wo zwei oder mehrere Teststufen mehr als eine Organisation oder Organisationsbereiche umspannen gibt es zwei M glichkeiten das Modell einzusetzen Beim ersten Ansatz werden die Teststufen als ein gemeinsamer Prozess analysiert und die Ergebnisse werden in einer TPI Matrix eingetragen Beim zweiten Ansatz werden die einzelnen Teststufen individuell analysiert und die Ergebnisse werden in separaten TPI Matrizen je Teststufe pr sentiert F r High Level und Low Level Tests bedeutet dies dass die Kernbereiche 1 bis 19 und f r Integrationstests zus tzlich der Kernbereich 21 anzuwenden sind In der Praxis jedoch werden Low Level Tests meist ber cksichtigt sobald eine oder mehrere der brigen Teststufen analysiert werden Sogeti Deutschland GmbH Version 1 01 28 03 06 9 1 TESTSTRATEGIE Einer der wichtigsten Kernbereiche ist die Teststrategie deren Ziel es ist So fr h und so kosteng nstig wie m glich die wichtigsten Fehler zu erkennen Die Formulierung wichtigsten bezieht sich auf die Risiken f r die Organisation wenn sich das Produkt als qualitativ unzureichend herausstellt In der Teststrategie wird bestimmt welche Anforderungen und Risiken mit welchen Tests abgedeckt werden Je besser jede Teststufe die eigene Strategie bestimmt und je besser diese verschiedenen Teststrategi
51. a 18b Sogeti Deutschland GmbH Version 1 01 28 03 06 116 24 GLOSSAR Anforderungsabdeckung Aktualisierbarkeit Akzeptanzkriterien Akzeptanztest Anforderungen Ausfall Ausgangssituation Auswertung Fahrzeug Prototyp Beauftragter Bekannte Fehler Big bang Integration Der Deckungsgrad wird h ufig als Zahl wiedergegeben Die M helosigkeit mit der das System an die neuen W nsche der Anwender oder die ge nderte externe Umgebung angepasst oder eingesetzt werden kann um Fehler zu korrigieren Kriterien die definieren wann welche der Bedingungen erf llt sein m ssen damit das Objekt zum Test freigegeben wird Ein Test der von einem Benutzer und oder dem Systemmanager in einer Umgebung durchgef hrt wird die den Praxisanforderungen nahe kommt um zu zeigen dass das entwickelte System die Funktions und Qualit tsanforderungen erf llt Eine Bedingung die entweder durch das System einer Komponente oder einer Funktion getroffen werden muss damit ein Vertrag ein Standard oder ein anderes formales Dokument erf llt wird Eine Abweichung im System vom erwarteten Ergebnis in der Lieferung oder Service Der Status zu Beginn einer Testphase Hier werden gew hnlich die Ausgangsdaten und die Variablen beschrieben Das Kontrollieren und Durchf hren von Reviews an verschiedenen Zwischenprodukten und oder in der Software bzw im Systementwicklungsprozess Das Fahrzeug das die Tes
52. ahrzeug sein F r softwareabh ngige L sungen in Autos beginnt dies mit Softwarekomponenten die in ein Softwareteilsystem integriert werden m ssen Dieses Softwareteilsystem wird wo notwendig zusammen mit anderen Teilsystemen mit einem Mikrocontroller integriert Der Mikrocontroller wird falls n tig zusammen mit anderen Mikrocontrollern zu einem ECU electronic control unit integriert Die ECU wird zusammen mit anderen ECUs zu einem Fahrzeugteilsystem integriert z B Antriebssystem oder Chassis System und dann werden schlie lich diese Steuerger te in ein komplettes Auto integriert Jeder Integrationsschritt muss organisiert geplant und getestet werden Bei fast jedem Integrationsschritt ist mehr als eine interne oder externe Partei involviert Die blicherweise angewandte Methode der schrittweisen Auslieferung der Funktionalit t sogenannte A Muster B Muster etc zwingt den Auftraggeber die F hrungsrolle bei der Entscheidung zu bernehmen welche Funktionalit t in welchem Muster verf gbar sein soll Eine gewisse Minimalfunktionalit t je Systemteil ist notwendig um dieses Systemteil mit anderen Systemkomponenten integrieren zu k nnen Die folgende Abbildung zeigt die typische Abfolge beim Integrationstest Sogeti Deutschland GmbH Version 1 01 28 03 06 108 Lieferant 1 Lieferant 4 Komponente A Komponente 49 Lieferant 1 Lieferant 4 Komponente B Lieferant 2 o K
53. all von MMI in der Entwicklungsumgebung stattfinden Ber cksichtigen Sie die oben genannten Aspekte bei der Bestimmung der Teststrategie beispielsweise dass das Testen zwar in einer anderen Umgebung eher beginnt dass jedoch ein Abschlusstest doch noch in der eigenen Umgebung erfolgen muss Stimmen Sie den Einsatz einer anderen Umgebung rechtzeitig ab Beschr nken Sie die Auswahl der Testumgebung nicht auf diejenigen welche innerhalb des Projektteams verf gbar sind sondern ber cksichtigen Sie andere Abteilungen und Organisationen des Auftraggebers und des Zulieferers 9 C Umgebung auf Abruf Beschreibung Das Testteam gibt an welche Tests wann ausgef hrt werden m ssen und welchen Anforderungen die Testumgebungen gen gen muss Die geforderte Umgebung wird rechtzeitig eingerichtet und freigegeben Eventuelle nderungen in der Umgebung sind rasch und flexibel vorzunehmen Dies bietet dem Testteam eine maximale Flexibilit t um die Testumgebung an ge nderte Testziele und sonstige Ereignisse w hrend des Testprozesses anzupassen In der Praxis l sst sich das nur unter Laborbedingungen realisieren wie in HiL SiL MiL Umgebungen Der Fahrzeugprototyp selbst ist nicht sehr flexibel und die Bedingungen lassen sich auch nur sehr begrenzt steuern Kontrollpunkte 9 C 1 Die Umgebung die sich f r einen Test am meisten eignet ist sehr flexibel und kann schnell an ge nderte Anforderungen angepasst werden Abh ngigkeiten Kei
54. as System das wir getestet Sogeti Deutschland GmbH Version 1 01 28 03 06 92 haben weist eine gute Qualit t auf wir haben aber keine Sicherheit dar ber dass es sich hierbei um die Version handelt die in Produktion genommen werden soll oder ob es sich um die Version handelt die der Auftraggeber zu erhalten erwartet Geben Sie au erdem an wie schwierig der Testprozess infolge einer unzureichenden Versionsverwaltung war da viel Ermittlungsarbeiten erforderlich waren bzw viele unn tige Abweichungen gefunden wurden verursacht durch falsche Versionszusammenstellung Integrieren Sie das Versionsmanagement der Anforderungen Modele Software Hardware auch Testsoftware und hardware und Testware Dies bietet die M glichkeit alle notwendigen Konfigurationselemente f r eine bestimmte Systemversion an einer Stelle zusammenzutragen Besondere Aufmerksamkeit sollte man den Konfigurationselementen widmen die au erhalb der Organisation realisiert werden Diese Elemente m ssen in einem standardisierten Format ausgeliefert werden das die fehlerfreie Einf hrung dieser Elemente in das Konfigurationsmanagementtool unterst tzt Durchleuchten Sie erforderlichenfalls den Prozess f r die Versionsverwaltung innerhalb des Projekts und formulieren Sie Empfehlungen Beziehen Sie nicht nur die Spezifikationen sondern auch die Systemanforderungen in die Testbasis ein Oft bedeutet dies dass einige Untersuchungen durchgef hrt werden m
55. axis hat sich folgende Vorgehensweise f r die Planung bew hrt Der gesamte Testprozess wird erst in gro en Linien geplant und danach wird jeweils ein Detailplan f r die kommenden drei bis vier Wochen aufgestellt Sogeti Deutschland GmbH Version 1 01 28 03 06 33 4 B Statistisch fundierter Kostenvoranschlag und Planung Beschreibung Metriken k nnen erstellt und deren Ergebnisse analysiert werden Auf der Grundlage dieser Analysen kann die Vorgehensweise f r Planung und Kostenvoranschlag weiter optimiert werden Kontrollpunkte 4 B 1 Es werden Metriken ber den Fortschritt und die Qualit t auf Ebene B des Kernbereichs Metriken f r mehrere vergleichbare Projekte gef hrt 4 B 2 Diese Daten werden f r die Begr ndung des Testkostenvoranschlags und der planung verwendet Abh ngigkeiten Berichterstattung Ebene B Fortschritt Status der Tests und Produkte Aktivit ten Zeit und Kosten Meilensteine Abweichungen einschlie lich Priorit tenzuweisung Statistisch fundierte Aufwandsch tzung und Planung sind nicht sinnvoll sofern nicht w hrend des gesamten Projekts eine Berichterstattung ber den Projektfortschritt stattfindet Metriken Ebene B Projektmetriken Prozess Optimierungsvorschl ge Sorgen Sie daf r dass jedes Projekt anhand von Berichten in Grundz gen den Fortschritt und die Qualit t Fehler angibt Sp ter werden hier mehr Details eingebracht die von der Linienorganisation best
56. ber eine Abstimmung zwischen den High Level Tests und Low Level Tests sowie den Pr fungsstufen statt um eine weitere Optimierung der gesamten Test und Pr fungsstrategie zu erreichen Kontrollpunkte Sogeti Deutschland GmbH Version 1 01 28 03 06 19 1 D 1 Es erfolgt eine Abstimmung zwischen den High Level Tests Low Level Tests und den Pr fungsstufen auf dem Gebiet der Teststrategie Risiken Qualit tsmerkmale Betrachtungsbereich des Tests der Pr fung und Planung 1 D 2 Das Ergebnis der Abstimmung ist eine koordinierte Strategie die schriftlich festgehalten wird W hrend des gesamten Pr fungs und Testprozesses wird diese Strategie berwacht 1 D 3 Jeder High Level Test ermittelt auf Grundlage der Abstimmung die eigene Teststrategie wie bei Ebene A beschrieben 1 D 4 Jeder Low Level Test ermittelt auf Grundlage der Abstimmung die eigene Teststrategie wie bei Kernbereich Low Level Tests Ebene C beschrieben 1 D 5 Jede Pr fungsstufe ermittelt auf Grundlage der Abstimmung die eigene Pr fungsstrategie wie bei Kernbereich Pr fen Ebene C beschrieben 1 D 6 Abweichungen von der koordinierten Strategie werden gemeldet wonach abh ngig von den Risiken eine fundierte Anpassung der koordinierten Strategie vorgenommen wird Abh ngigkeiten Low Level Tests Ebene C Strategie f r Low Level Tests Low Level Tests m ssen gem ihrer eigenen Teststrategie ausgef hrt werden die von der koordinierten Strat
57. berpr ft werden Das letztere wird oft vergessen Kleine Design nderungen k nnen wesentliche Auswirkungen auf das Testen haben z B wegen Abh ngigkeiten oder Regression Wenn nderungen der Anforderungen erforderlich werden muss daher der Tester informiert und nach seiner Einsch tzung der Auswirkungen auf das Testen gefragt werden Dann ist zumindest ein Anhaltspunkt f r die zus tzliche Zeit das Geld und die Testressourcen in Relation zu den nderungen der Anforderungen verf gbar Kleine Teams m ssen eine Balance finden zwischen einer m glichst geringen Zeitverschwendung durch Besprechungen und der Notwendigkeit Entscheidungen und nderungen zu dokumentieren um das Projekt Transparent kontrollierbar und wartbar zu halten Daher erscheinen die Kontrollpunkte 14 B 1 bis 14 B 4 sehr formal aber ohne eine minimale Implementierung Dokumentation von Fortschritt und Entscheidungen und Nachhalten der enthaltenen Risiken dieser Punkte l uft das Projekt langfristig aus dem Ruder Kontrollpunkte 14 B 1 Die internen Testbesprechungen werden schriftlich protokolliert 14 B 2 Bei den internen Testbesprechungen ist neben dem Fortschritt und der Qualit t des Testobjekts auch die Qualit t des Testprozesses ein fester Tagesordnungspunkt 14 B 3 Der Testmanager berichtet regelm ig w hrend der Projektbesprechung ber den Fortschritt und die Qualit t des zu testenden Objekts einschlie lich der Risiken Der Testmanager berichtet eb
58. bestehen Einsichten zum Kosten Nutzen Verh ltnis f r alle eingesetzten Testtools wobei Kosten und Nutzen nicht nur in Geld ausgedr ckt zu werden brauchen 8 C 3 Es erfolgt eine periodische Neubewertung der Vorteile der Testautomatisierung 8 C 4 Man verfolgt die Entwicklungen auf dem Testtool Markt 8 C 5 Neue Testtools f r den Testprozess werden nach einem strukturierten Prozess eingef hrt Folgende Aspekte innerhalb dieses Prozesses sind zu ber cksichtigen e Ziele was soll die Automatisierung in Hinsicht auf Zeit Geld oder Qualit t leisten e Bereich welche Teststufen Testarten und welche Aktivit ten sind zu automatisieren e Erforderliches Personal und Sachkenntnis eventuell noch erforderliche Ausbildungen Erforderliche technische Infrastruktur Auswahl des Tools Einf hrung des Tools Entwicklung von wartbaren Skripten Einrichten einer Toolverwaltung Abh ngigkeiten Keine Optimierungsvorschl ge Organisieren Sie bestimmte strukturelle Aktivit ten wie die F hlung mit den Entwicklungen auf dem Testtool Markt in einer unterst tzenden Linienabteilung Testen Dokumentieren und verwalten Sie den Einf hrungsprozess und stellen Sie Vorlagen aus der Linienabteilung Testen zur Verf gung Sogeti Deutschland GmbH Version 1 01 28 03 06 52 9 TESTUMGEBUNG Die Entwicklung eines Steuerger ts f r ein Fahrzeug umfasst viele Aktivit ten in unterschiedlichen Stufen im Entwicklungsprozess wobei jede ein
59. ch an den folgenden Erwartungen Wie oft soll die Testware wieder verwendet werden Wieviel Zeit ben tigt man jedes Mal um eine Aktualisierung durchzuf hren verglichen mit der Zeit die man ben tigt um alle Testf lle von Grund auf neu zu spezifizieren Sollte die Testware auch sp ter im Falle von Produkthaftungsf llen zur Verf gung stehen Aus diesem Grund m ssen fundierte Vereinbarungen hier ber getroffen werden Sogeti Deutschland GmbH Version 1 01 28 03 06 94 18 _TESTPROZESSMANAGEMENT F r die berwachung eines jeden Prozesses und einer jeden Aktivit t sind vier Schritte aus dem Deming Kreis Deming 1992 wichtig Jede Aktivit t wird geplant ausgef hrt berwacht und erforderlichenfalls angepasst oder mit anderen Worten say what you do do what you say Ergebnis Verbesserung Leistung oder Qualit t Ein kontrollierter Testprozess ist u erst wichtig um in einem doch h ufig turbulenten Testumfeld einen optimalen Test auszuf hren Die Startebene ist durch das Fehlen einer Planung gekennzeichnet Es wird sofort mit der Durchf hrung von Aktivit ten begonnen 18 A Planung und Durchf hrung Beschreibung Ein wichtiger Schritt bei der Verbesserung des Testprozesses besteht darin alle Aktivit ten im Vorhinein zu definieren und zu planen Der Vorteil besteht darin dass f r jeden Beteiligten die Fragen Was ist zu tun Wann muss das fertig sein behan
60. chiedenen Tests z B elementarer Vergleichstest oder Strukturtest Ausf hrung der Testf lle bzw Testszenarien Aktivit t im Testprozess Der Prozess des Planens der Vorbereitung und des Messens mit dem Ziel die Merkmale eines Systems festzustellen und Unterschiede nachzuweisen Eine Beschreibung eines auszuf hrenden Tests Die Umgebung in der die Tests durchgef hrt werden Eine Methode zeigt das Ma der Testabdeckung z B die sich aus den Testf llen und der Codeabdeckung ergebenen Anforderungen Das zu testende System Eine Testorganisation hat die Aufgabe ad quate Verh ltnisse zwischen Testfunktionen Testeinrichtungen und Testaktivit ten zu schaffen um rechtzeitig eine gute Qualit tsempfehlung formulieren zu k nnen Dort wird das allgemeine Konzept und die strategischen Entscheidungen im Zusammenhang mit dem auszuf hrenden Test festgelegt Eine Planung der auszuf hrenden Testskripte die Testskripte stehen im Testablauf in einem logischen Zusammenhang und sind in der auszuf hrenden Reihenfolge angegeben Der Prozess zur Organisation dem Verwalten und das Ausf hren von Tests Ein strukturierter berblick ber die TPI Analyse Eine Sammlung von Testf llen Eine Beschreibung wie das Testen durchgef hrt wird Es beinhaltet Testdurchf hrungen und Kontrollen Sogeti Deutschland GmbH Version 1 01 28 03 06 123 Testspezifikation Teststrategie Testteam Testtechnik Test
61. ck der Qualit t des zu testenden Systems Wichtig ist au erdem eine periodische Berichterstattung Kontrollpunkte 15 A 1 Die gefundenen Abweichungen werden periodisch festgehalten getrennt nach gel sten und noch offen stehenden Abweichungen 15 A 1 Im Voraus werden Vereinbarungen getroffen vorzugsweise im Testplan festgelegt welche Aspekte beim Berichtswesen ber cksichtigt werden sollen Inhalt der Berichte Intervall der Berichterstellung periodisch auf Anforderung und ad hoc Adressaten der Berichte Formell informell 15 A 1 Neben dem Auftraggeber des Tests muss an andere Beteiligte berichtet werden Hierzu z hlen z B andere Betroffene wie der Entwickler des Systems Abh ngigkeiten Keine Optimierungsvorschl ge Dokumentieren Sie allgemein wie viele Abweichungen in etwa aufgedeckt worden sind ungeachtet der Tatsache ob sie gel st wurden oder nicht Dokumentieren Sie die noch offen stehenden Abweichungen Dabei handelt es sich sowohl um die Abweichungen die noch gel st werden als auch um solche die nicht gel st werden auch wenn sie berechtigt sind diese bezeichnet man mit known errors unter Zeitdruck werden diese Abweichungen meistens nicht behoben Sorgen Sie daf r dass die Behebung der Abweichungen in ein schl ssiges verwaltungsm iges Verfahren eingegliedert wird Sogeti Deutschland GmbH Version 1 01 28 03 06 80 15 B Fortschritt einschlie lich Priorit tenzuweisung
62. d Fundierte Statistisch fundierter Planung Kostenvoranschlag Kostenvoranschlag und und Planung 2a Planung 7b 15b Testspezifikations Nicht formale Formale Techniken Mathematische techniken Techniken 12a 17a Methoden Statische Inspektion der Checklisten Testtechniken Testbasis Projektmetriken Projektmetriken ber Systemmetriken Organisationsmetrik Sogeti Deutschland GmbH Version 1 01 28 03 06 114 Testautomatisierung Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktionen und Ausbildung Reichweite der Methodik 14 Kommunikation Einsatz von Testtools Kontrollierte Testumgebung 12a Ad quate und rechtzeitige Einrichtung der Testarbeitspl tze Zuweisung von Budget und Zeit Testmanager und Tester Projektspezifisch 2b 5b 16a 17a 18b Interne Testkommunikation EZ ber Produkt 11b Prozess 15c 16b 13c 14c 18c en gt 1System 15b 16a 18b Beherrschung der Testautomatisierung 5a oder 5b 12a Testen in der geeignetsten Umgebung 1b Testen in Projektorganisation integriert 2a 15b 16a 18b Formale Unterst tzung methodische technische und funktionale Management Projektspezifisch mit externen Bereich 1b 14b 15b 16b 17b Projektkommunikation Analyseforum Anderungs ber wachung 2a 15b 16a Optimale Testautomatisierun g Umgebung auf Abruf Testengi
63. d GmbH Version 1 01 28 03 06 125
64. d Personen die die unterschiedlichen Interessengruppen repr sentieren z B Projektleiter Technische Experten Entwickler und Auftraggeber sind an diesen Pr fungen beteiligt Abh ngigkeiten Keine Optimierungsvorschl ge Stellen Sie sicher dass die berichteten Abweichungen aus den Pr fungen verwaltet werden Die L sung wichtiger Abweichungen sollte berpr ft werden F hren sie 4 Augen berpr fungen oder Kontrollen unter Kollegen mit dem Einsatz von Checklisten als Richtlinie ein Neben den Checklisten nutzt der Partner oder Kollege seine eigene Erfahrung um das Produkt zu inspizieren 19 B Pr fungstechniken Techniken in Form von Prozessbeschreibungen und Checklisten helfen dabei Pr fprozesse kontrollierbar zu gestalten Es ist sehr wichtig mehrere Techniken zur Auswahl zu haben denn hnlich wie beim Testen muss nicht jedes Zwischenprodukt ebenso gr ndlich inspiziert werden wie ein anderes Sogeti Deutschland GmbH Version 1 01 28 03 06 98 Kontrollpunkte 19 B 1 Beim Pr fen von Zwischen Produkten werden bestimmte Techniken verwendet Es wird somit nach einer formalen und beschriebenen Arbeitsweise vorgegangen Abh ngigkeiten Keine Optimierungsvorschl ge Sorgen Sie daf r dass verschiedene Pr fungstechniken zur Verf gung stehen aus denen bei der Bestimmung einer Pr fungsstrategie ausgew hlt werden kann Beispiele von Pr fungstechniken sind die Inspektionen strukturiert
65. d schnellerer Einblick in den Status des Testprozesses Bessere Motivation des Testpersonals Bei Planung und Verwaltung k nnen Tools insbesondere bei folgenden Aktivit ten helfen Kostenvoranschlag Planung Fortschritts berwachung Konfigurationsmanagement Dokumentation der Abweichungen Viele dieser Tools sind nicht spezifisch f r das Testen sondern f r das Projektmanagement im Allgemeinen gedacht Die Tools sind relativ preiswert einfach zu implementieren ben tigen wenig Einarbeitungszeit und erh hen die Qualit t und Geschwindigkeit der jeweiligen Prozesse Bei der Durchf hrung und Analyse k nnen verschiedene Toolarten Unterst tzung bieten Testsequenzer Record amp Playback Load amp Stress Testabdeckungen Codepr fer z B um die Konformit t mit MISRA zu berpr fen Testdatengeneratoren Simulatoren Drivers und Stubs Compiler Komparatoren Statischer Analysatoren Logikanalysatoren Debugger Monitore Sogeti Deutschland GmbH Version 1 01 28 03 06 41 Die Kosten f r diese Tools in Bezug auf Anschaffung Ausbildungen Implementierung und Einsatz sind durchschnittlich h her als die f r Planung und Verwaltung der potentielle Nutzen in Bezug auf Qualit t Geld bzw Zeit ist jedoch ebenfalls h her Ein kritischer Erfolgsfaktor f r die Automatisierung des Testprozesses mit Hilfe von Testtools ist das Vorhandensein einer strukturierten Testvorgehensweise und Organisation
66. d welche Tests durchgef hrt werden Eine periodische Besprechung ber Abweichungen zwischen Auftraggeber und Lieferant ist ein n tzliches Instrument um Informationen ber Fortschritt bisherige Qualit t des Produkts und m gliche Engp sse z B Verf gbarkeit von Testausstattung In diesen Besprechungen k nnen offene Abweichungen priorisiert werden und es kann geplant werden in welcher Lieferungsabfolge die L sungen implementiert werden sollten Sowohl Auftraggeber als auch Lieferant haben ihre eigenen Verantwortlichkeiten in diesem Prozess Der Auftraggeber muss die richtigen Informationen ber Fortschritt Qualit t und Verf gbarkeit von Funktionalit ten einfordern Diese Information ist notwendig um die Integration mit Komponenten zu planen die von anderen Lieferanten beigestellt werden Der Lieferant muss die Eingangskriterien f r die in Auftrag gegebene Systemkomponente die Verf gbarkeit von Testausstattung und den Lieferplan f r die Funktionalit ten abfragen Weitere Informationen die man erfragen sollte sind wann die Zielhardware verf gbar sein wird und falls dies versp tet geschieht ob Simulationsumgebungen oder Modelle verf gbar sind Hier ist eine enge Zusammenarbeit zwischen Auftraggeber und Lieferant erforderlich um sicherzustellen dass hinreichendes Testen m glich und erschwinglich ist und dass dies im Zeitplan geschieht nderungen der Anforderungen m ssen auf ihre Auswirkungen f r Konzeption und Testen
67. daf r dass eine Gesamt bersicht ber diese Abweichungen und Anpassungen am Ende des Testprojektes problemlos zu erstellen ist 18 C berwachung und Anpassung in der Organisation Beschreibung Sogeti Deutschland GmbH Version 1 01 28 03 06 96 Auch auf der Organisationsebene findet eine berwachung und Anpassung der verschiedenen Testprozesse statt wenn auch auf einer viel allgemeineren Ebene Es handelt sich hier vornehmlich um die berwachung und Steuerung der Qualit t der Testprozesse wie z B den Einsatz der vorgeschriebenen Methodik Methoden Richtlinien Techniken und Verfahren Kontrollpunkte 18 C 1 Auf Organisationsebene erfolgt eine berwachung des Einsatzes der Methodik Methoden Richtlinien Techniken und Verfahren der Organisation 18 C 2 nderungen werden schriftlich festgelegt und den Beteiligten im Testprozess mitgeteilt 18 C 3 Bei Abweichungen werden die Risiken analysiert und es wird korrigierend eingegriffen beispielsweise durch Anpassung der Methodik oder indem die Aktivit ten oder Produkte doch noch an die Methodik angepasst werden Die Anpassungen werden begr ndet Abh ngigkeiten Reichweite der Methodik Ebene C organisationsgenerisch Uberwachung und Anpassung auf Organisationsebene ist nur m glich wenn alle Testprozesse in der Organisation nach einer hnlichen Arbeitsweise vorgehen Optimierungsvorschl ge Machen Sie die Linienabteilung Testen oder einen ihrer Vertreter f
68. delt werden und damit klar wird wie viel Zeit und Ressourcen eingeplant werden m ssen Diese Daten k nnen im Rahmen des gesamten Projekts ber cksichtigt werden Ebene A dieses Kernbereichs ist sehr eng verbunden mit Ebene A des Kernbereichs Einsatz des Phasenmodells Kontrollpunkte 18 A 1 Vor den eigentlichen Testaktivit ten wird ein Testplan aufgestellt in dem alle auszuf hrenden Aktivit ten sowie die betroffenen Personen und ihre Verantwortlichkeiten identifiziert sind F r jede Aktivit t wird angegeben in welchem Zeitraum diese stattfindet welche Ressourcen Personal oder Mittel erforderlich sind und welches die zu liefernden Produkte sind 18 A 2 Der Auftraggeber des Tests berpr ft den Testplan der aus der Planungsphase resultiert Anderungen an diesem Plan m ssen dem Auftraggeber zur berpr fung vorgelegt werden Abh ngigkeiten Keine Optimierungsvorschl ge Siehe Kernbereich Einsatz des Phasenmodells Ebene A Planung Design Durchf hrung Sogeti Deutschland GmbH Version 1 01 28 03 06 95 Es empfiehlt sich Aktivit ten mit einem geringen Umfang zu einer einzigen Aktivit t zusammenzufassen 18 B Planung Durchf hrung berwachung und Anpassung Beschreibung Wenn Aktivit ten geplant werden bietet das noch keine Garantie f r eine korrekte Durchf hrung Jeder Testprozess ist gekennzeichnet durch ein gewisses Ma an Chaos Es geh rt eher zur Regel als zur Ausnahme dass
69. der Testaufwand auf die einzelnen Systemkomponenten verteilt wird Der Ausgangspunkt ist auch hier wieder eine Gleichverteilung des Aufwands auf alle Systemkomponenten Als n chstes wird ermittelt welche Qualit tskriterien f r jede einzelne Systemkomponente anzuwenden sind und wie gr ndlich diese in Bezug auf ihre zugewiesene Bedeutung zu testen sind Wenn die Zerlegung zu einer 1 1 Beziehung zwischen Systemkomponenten und Lieferanten gef hrt hat k nnen den Lieferanten konkrete Eingangs und oder Annahmekriterien mitgeteilt werden Festlegen von Messtechniken und Testspezifikationstechniken Als letzter Schritt innerhalb der Teststrategie werden Metriken und vor allem Testspezifikationstechniken ausgew hlt welche f r die zuvor festgelegten Qualit tsmerkmale und Systemkomponenten am besten geeignet erscheinen W hrend der Bestimmung der Teststrategie sind folgende Punkte bei der Risikobetrachtung besonders zu ber cksichtigen Die Funktionalit t der Systemkomponenten Die Komplexit t der Systemkomponenten und ihrer Schnittstellen Die von den Lieferanten zur Verf gung gestellten Qualit tsnachweise in Form von Testf llen Testberichten Zertifikaten etablierte Anwenderbasis usw oder die in den Eingangskriterien festgelegten geforderten Qualit tsnachweise Die Transparenz der Systemkomponenten Transparenz bedeutet mit wie wenig Aufwand man ermitteln kann ob ein Systemteil funktioniert und deshalb als Indikator
70. der Qualit t fr hzeitig geeignete Ma nahmen getroffen werden k nnen Eingangskontrolle Falls die Testbasis vom Auftraggeber geliefert wird sollte der Lieferant das Ergebnis der berpr fung der Testbarkeit testability review mit dem Auftraggeber diskutieren um die erforderlichen Ma nahmen einzuleiten Fehler und M ngel in einem m glichst fr hen Stadium zu finden so dass diese nicht erst in der Spezifikationsphase erkannt werden und damit diese Phase verz gern Tester sind mit der Testbasis vertraut zu machen so dass die Spezifikationsphase schneller und besser verl uft In der Abschlussphase stehen zwei Aktivit ten im Mittelpunkt Vervollst ndigung und Aktualisierung der Testware so dass diese in anderen Testprozessen wieder verwendbar ist beispielsweise bei Erweiterungen Dies reduziert den Aufwand zuk nftiger Testprozesse Die Bewertung des getesteten Objekts und des Testprozesses zur Information an den Auftraggeber ber die Qualit t beider Aspekte und zur Formulierung von Empfehlungen f r zuk nftige Testprozesse Kontrollpunkte 2 B 1 F r High Level Tests werden ferner folgende Phasen unterschieden Planung Vorbereitung Spezifikation Durchf hrung und Abschluss Die Phasen werden nacheinander ausgef hrt eventuell je Teilsystem Eine gewisse berlappung ist m glich 2 B 2 Im Folgenden werden die auszuf hrenden Aktivit ten f r jede Phase aufgez hlt Jede Aktivit t ist mit Unteraktivit
71. det Die Qualit t der Testumgebung hat gro en Einfluss auf Qualit t Durchlaufzeit und Kosten des Testprozesses Im Wesentlichen bestimmt sie ob eine Testaktivit t berhaupt durchgef hrt werden kann und wie gro der Aufwand daf r ist Andere wichtige Aspekte der Testumgebung sind Nutzungsrechte und Zust ndigkeiten Administrierung Verf gbarkeit Repr sentativit t der Testergebnisse und Flexibilit t 9 A Kontrollierte Testumgebung Beschreibung Testen muss in einer kontrollierten Umgebung stattfinden Unter kontrolliert versteht man dass das Testteam Eigent mer der Umgebung ist zumindest f r die Dauer dieses Testprojekts und dass die Testumgebung nicht ohne Zustimmung des Testmanagers angepasst wird Dies verhindert weitgehend dass Testaktivit ten scheitern und erneut durchgef hrt werden m ssen da ein unerwartetes Systemverhalten durch unbekannte und unerw nschte nderungen in der Testumgebung hervorgerufen wurde Beispiele solcher nderungen sind Bugfixes in der Software Neue Prototypversionen eine neue Lieferung einer Komponente durch einen externen Lieferanten Ersetzen eines Simulators Stubs oder Treibers durch eine reale Komponente Wenn das Testteam wiederholt mit solchen nderungen konfrontiert wird und keine Kontrolle hier ber hat wird der Testprozess schnell unkontrollierbar Sogeti Deutschland GmbH Version 1 01 28 03 06 53 Testumgebungen sind typischerweise komplex und brauch
72. die Testskripte gut aktualisiert werden k nnen Das beinhaltet den Einsatz entsprechender Testspezifikationstechniken Optimierungsvorschl ge Inventarisieren und untermauern Sie den Bedarf und die Notwendigkeit von Tools Verwenden Sie dabei nicht nur Produkte die im Handel erh ltlich sind sondern ber cksichtigen Sie dass auch ganz kleine selbst zu implementierende Tools wie Stubs Drivers und Displays im System sehr n tzlich sein k nnen Der Entwickler kann h ufig in sehr kurzer Zeit solche Tools implementieren F hren Sie einen strukturierten Auswahl und Einf hrungsprozess aus Sorgen Sie f r Ausbildungen und Unterst tzung f r das Tool das erworben werden soll F hren Sie ein Pilotprojekt durch Sorgen Sie daf r dass sich im Team gen gend Sachkenntnis ber das Tool befindet h ufig handelt es sich um jemanden der Technik und Programmierkenntnisse besitzt Erstellen Sie eine Beschreibung wie die Einrichtung des Tools auszusehen hat Erstellen Sie vor der Anschaffung des Tools eine fundierte Kosten Nutzen Analyse Folgendes Beispiel soll einen Eindruck vermitteln welche Unterschiede zwischen manuellem M Testen und automatisiertem Testen mit einem Testsequenzer A bestehen Stellen Sie fest welcher Testaufwand f r die Automatisierung in Betracht kommt Annahme Es soll viermal im Jahr ein Regressionstest ausgef hrt werden bei dem vier Personen drei Wochen lang ganzt gig mit Testen besch ftigt sind 4x
73. die einheitliche Vorgehensweise innerhalb des Testteams wieder verwendbar Abh ngigkeiten Keine Optimierungsvorschl ge Siehe die Anweisungen f r den Kernbereich Testspezifikationstechniken Ebene B Formale Techniken Beginnen Sie mit nicht formalen Techniken beispielsweise indem Sie bei jeder zu testenden Bedingung auf einer Kopie der Funktionsspezifikation ankreuzen lassen welche Bedingung getestet wurde Vermitteln Sie den Beteiligten die Bedeutung und die Vorteile von White Box Testtechniken Sogeti Deutschland GmbH Version 1 01 28 03 06 105 Verschaffen Sie sich Einsicht in Qualit t und Tiefe der Low Level Tests indem Sie einfache Testtechniken einsetzen Der Einsatz von schwierigen und formalen Techniken wird weniger leicht akzeptiert werden 20 C Low Level Teststrategie Beschreibung Der Auftraggeber eines Tests erwartet eine bestimmte Qualit t des freizugebenden Systems Die Qualit tserwartungen k nnen f r jedes System sehr unterschiedlich sein Es ist von gr ter Bedeutung mit dem Auftraggeber hierzu entsprechende Vereinbarungen zu treffen und diese anschlie end durch die Art des Testens umzusetzen Eine Risikoeinsch tzung bildet die Grundlage f r die Teststrategie da es wichtig ist den Testaufwand zu optimieren W hrend der Bestimmung der Teststrategie wird analysiert was wo und wieviel getestet werden muss damit das erforderliche Gleichgewicht zwischen der gew nschten Qual
74. e Walkthroughs 4 Augentest usw Jede Technik hat im Gro en und Ganzen folgende Phasen Plan In dieser Phase erfolgt eine Identifikation der Risikobereiche und es wird ermittelt welche Analysemethoden am besten eingesetzt werden k nnen mit anderen Worten Wie k nnen wir vermeiden dass nur auf Rechtschreib und Stilfehler geachtet wird Die Ergebnisse werden in einem Review Plan festgelegt zusammen mit den Antworten auf die Fragen nach dem Wer Was und Wann und dem erforderlichen Aufwand Analyse Eine Analyse kann durch Information Untersuchung oder Diskussion stattfinden Der Organisator erstellt eine Agenda die zu untersuchenden Produkte werden analysiert und die gefundenen Probleme protokolliert Gr ere Fehler werden verwaltet und berwacht bei kleineren Fehlern wird dies h ufig dem Autor berlassen Korrektur Die Unstimmigkeiten werden bearbeitet Bei bestimmten gr eren Fehlern kann diskutiert werden ob diese gel st werden m ssen die Beseitigung manch kleinerer Fehler kann m glicherweise verschoben werden Die Unterschiede zu der vorigen Version werden dokumentiert Kontrolle Es erfolgt eine Kontrolle aller nderungen und es wird ein zusammenfassender Bericht erstellt Die meisten Pr fungstechniken basieren auf dem oben genannten generischen Phasenmodell wobei sich die Variation vornehmlich in der angewandten Form der Analyse u ert Walkthrough Plan Information Korrektur Kontrol
75. e zus tzliche Quelle von Informationen Autorisierung und Sicherheit stellen einen wichtigen Aspekt dar wenn mehr als eine Organisation involviert ist was fast immer der Fall ist Die Anzahl der Nachtests je Abweichung und die Anzahl der durch die Fehlerbehebung erzeugten Folgefehler gibt Aufschluss ber den Reifegrad des Entwicklungsprozesses Diese Art von Information muss f r Personen au erhalb der Organisation unzug nglich sein Ein Abweichungsmanagementsystem das von mehr als einer Organisation benutzt wird stellt ein m gliches Sicherheitsproblem dar Personen au erhalb der Organisation ben tigen einen Zugriff auf dieses System meist ber eine unsichere Internetverbindung Daher sollten Sicherheitsvorkehrungen getroffen werden um unautorisierten Zugriff auf dieses System und seine Informationen zu vermeiden Kontrollpunkte 16 C 1 Das Abweichungsmanagementsystem wird vom Auftraggeber blicherweise der OEM bereitgestellt und ist f r alle Parteien die in das Projekt involviert sind zug nglich also auch f r diejenigen au erhalb der Organisation des Auftraggebers 16 C 2 Nur ein einziges System zur Dokumentation der Abweichungen wird im gesamten Projekt z B die Entwicklung eines bestimmten Steuerger ts eingesetzt selbst dann wenn mehr als eine unabh ngige Organisation am Testprozess beteiligt ist Die Abweichungen die aus den unterschiedlichen Disziplinen Teams also Lieferant und Auftraggeber oder Abteilungen
76. echniken Dokumentation der Abweichungen Sogeti Deutschland GmbH Version 1 01 28 03 06 4 Statische Testtechniken Testware Management Metriken Testprozessmanagement Testautomatisierung Pr fen Testumgebung Low Level Tests B ro und Laborausstattung Integrationstests Engagement und Motivation Ebenen Jeder Kernbereich wird in unterschiedliche Ebenen der Reife unterteilt Ein Kernbereich kann in bis zu vier Ebenen unterteilt sein die mit den Buchstaben A bis D bezeichnet sind Jede n chsth here Ebene ist in zeitlicher finanzieller und oder qualitativer Hinsicht reifer als die jeweils vorhergehende Ebene Durch die Einteilung in Ebenen kann die derzeitige Reife eines Testprozesses klarer festgestellt werden und dadurch k nnen bessere Ziele f r eine schrittweise Optimierung vorgeschlagen werden Kontrollpunkte Zur objektiven Bestimmung der Ebene auf der sich ein Testprozess befindet verf gt das Modell ber ein Messinstrument die so genannten Kontrollpunkte Jede Ebene hat einige Kontrollpunkte Ein Testprozess muss diese Punkte erf llen um in diese Ebene eingeteilt zu werden Die Kontrollpunkte sind kumulativ d h um f r Ebene B in Betracht zu kommen muss der Testprozess sowohl den Kontrollpunkten von Ebene B als auch denen von Ebene A entsprechen Testreifematrix TPI Matrix Die Kernbereiche und ihre Reifegradebenen werden in der Testreifematrix TPI Matrix kombiniert Die
77. echniken u en en ER 98 Pr fungsstrategie n en an 100 LOW LEVEL TESTS 102 Phasenmodell f r Low Level Tests Planung Spezifikation und Durchf hrung 102 White Box Techniken unesssenenennnennennnnnennnnnnennnnnennnnnnnnennnenennnennnnnnnnennnennn 105 Low Level Teststrategie nn naht 106 INTEGRATIONSTESTS 108 Integration ist als separater und geplanter Prozess identifiziert 109 Teststrategie f r die Integration 4us4ur ran san nnnnen nen nenn ann nn nennen nennen nn 110 Standardisierter Ansatz f r die Integration s4 ss n sen nen nennen nennen nn 111 TESTREIFEMATRIX 113 BERBLICK BER DIE ABH NGIGKEITEN 114 GLOSSAR 117 LITERATUR 125 Sogeti Deutschland GmbH Version 1 01 28 03 06 3 0 EINLEITUNG In der modernen Kfz Elektronik und der Softwareentwicklung spielt Testen eine wichtige Rolle im Entwicklungsprozess Die zunehmende Komplexit t dieser elektronischen Baugruppen und der Software fordert die Verbesserung des Entwicklungsprozesses und somit auch des Testprozesses Seit 1998 bietet TPI Test Process Improvement Koomen und Pol 1999 ein Instrument zur schrittweisen Verbesserung des Testprozesses Seitdem wurde es in vielen Projekten eingef hrt um dort den Testprozess zu optimieren Initiiert von den deutschen Automobilherstellern wurde in den Jahren 2003 und 2004 TPI Automotive entwickelt Ziel war es ein Modell auf Basis des vorhandenen TPI Modells zu schaffen welches adaptier
78. egie bestimmt wird Pr fungen Ebene C Pr fungsstrategie Pr fungen m ssen gem ihrer eigenen Teststrategie ausgef hrt werden die von der koordinierten Strategie bestimmt wird Zeitpunkt der Beteiligung Ebene C Aufstellen der Anforderungen Die Gesamtstrategie muss bereits in einem fr hen Stadium bestimmt werden Integrationstest Ebene B Teststrategie f r die Integration Optimierungsvorschl ge Benennen Sie einen Test und Pr fungskoordinator TPK der die Pr fungen und Tests aufeinander abstimmt und diese Abstimmungen berwacht Der TPK erstattet dem Projektmanager und eventuell auch dem Auftraggeber des Systems Bericht Wichtig ist die Unabh ngigkeit des TPK Sorgen Sie daf r dass der Test und Pr fungsplan ein integraler Bestandteil des Systementwicklungs Projektplans wird Wenn Lieferanten mit Sublieferanten arbeiten sollte man auch die Teststufen und Pr fungen des Sublieferanten in der bergreifenden Teststrategie ber cksichtigen In diesem Fall k nnen dieselben Prozeduren die zwischen Auftraggeber und Lieferanten implementiert wurden auch zwischen Lieferant und Sublieferant implementiert werden Der Lieferant ist daf r verantwortlich dass der Auftraggeber die richtigen Informationen erh lt um eine bergreifende Teststrategie f r den gesamten Entwicklungsprozess seines gew nschten Produkts zu formulieren Ber cksichtigen Sie die Gesamtkosten und den Nutzen des Testens von der Entwicklung bi
79. eichende Kenntnisse und Erfahrungen verf gt um oben genannte Kontrollpunkte ordnungsgem zu berpr fen Sorgen Sie in diesem Zusammenhang f r die erforderlichen Sachkenntnisse bzw Ausbildungen Die Einrichtung einer Linienabteilung Testen vereinfacht den Aufbau und Einsatz von Expertise Stellen Sie sicher dass bei jeder Anforderung Akzeptanzkriterien aufgestellt werden Beachten Sie auch die Anweisungen beim Kernbereich Engagement und Motivation Ebene C Testengineering 3 D Beginn des Projekts Beschreibung Die Einbeziehung des Testens in dieser Phase bedeutet dass bereits vom ersten Augenblick der Systementwicklung an aus der Sicht des Testens ber die Auswahl einer bestimmten Entwurfstechnik und vorgehensweise mitgedacht wird Wie testbar ist das System bei einer bestimmten Vorgehensweise oder Methode Wie einfach oder schwierig k nnen nachher Informationen ber die Qualit t des Systems vermittelt werden Kontrollpunkte 3 D 1 Wenn mit der Aufnahme des Projekts begonnen wird startet auch die Aktivit t Testen Abh ngigkeiten Engagement und Motivation Ebene C Testengineering wird akzeptiert Die Einbeziehung des Testens ab der Projektaufnahme erfordert ein hohes Ma an Kenntnissen und Erfahrungen vom Testteam Au erdem muss das Projektmanagement ausreichend viel Vertrauen in die Qualit t der Tester haben um diese bereits in einem so fr hen Stadium einzubeziehen Sogeti Deutschland
80. eicherung und zur Verf gung stellen aller Verwaltungsobjekte der Testinfrastruktur Dies erfolgt manchmal durch eigenst ndiges F hren der Verwaltung in anderen F llen durch Einrichtung bzw Kontrolle der Verwaltung Zu verwaltende Objekte sind Testumgebungen und Testtools 12 B 7 Die Personen die die oben genannten Aufgaben erf llen verf gen ber ausreichende Kenntnisse und Erfahrungen 12 B 8 Die f r die genannten Aufgaben erforderliche Zeit wird eingeplant Es wird kontrolliert ob die Aufgaben tats chlich durchgef hrt werden Abh ngigkeiten Keine Optimierungsvorschl ge Nehmen Sie im Testplan Funktionsbeschreibungen auf in denen angegeben ist wer welche unterst tzenden Aufgaben hat Reservieren Sie f r die unterst tzenden Aufgaben entsprechende Kapazit ten und berpr fen Sie ob diese Kapazit ten tats chlich genutzt werden Beginnen Sie mit der Kontrolle der korrekten Einhaltung der Vorschriften Verfahren und Techniken indem Sie Testern oder Testmanagern einfache Kontrollaktivit ten zuweisen beispielsweise die Uberpr fung der gegenseitigen Testspezifikationen usw Nutzen Sie die Unterst tzung im Falle kleiner Teams f r spezialisierte Aufgaben und nur f r begrenzte Zeit Die Unterst tzung wird immer Kapazit ten der Teammitglieder binden Eine permanente Mitarbeit im Team kann in kleinen Teams nicht f r alle unterst tzenden Rollen realisiert werden 12 C Formale interne Pr fung Beschreibu
81. eigene Arbeit testen Ber cksichtigen Sie dabei jedoch die jeweiligen Vor und Nachteile Der Vorteil ist dass die Person ihre eigene Arbeit gut kennt und dadurch sehr schnell passende Testf lle bestimmen und durchf hren kann Au erdem kann sie bei festgestellten Problemen die Ursache schnell finden und Abhilfe schaffen Der Nachteil dabei ist dass die blind spots des Sogeti Deutschland GmbH Version 1 01 28 03 06 106 Programmierers nicht von ihm selbst entdeckt werden Erw gen Sie daher die M glichkeit Entwickler gegenseitig ihre Arbeiten testen zu lassen beispielsweise stichprobenartig oder in Integrationstests Sogeti Deutschland GmbH Version 1 01 28 03 06 107 21 INTEGRATIONSTESTS Beschreibung der Integration Fehlerhafte Interaktion zwischen Hardware oder Software Komponenten Modulen Subsystemen oder Systemen resultiert oftmals aus Fehlinterpretationen von in vielen F llen nicht formal beschriebenen Anforderungen Abweichungen die sich auf diese inkorrekten Interaktionen beziehen m ssen durch Integrationstests entdeckt werden Diese Tests m ssen die korrekte Funktion von zwei oder mehreren zusammenarbeitenden Testobjekten validieren Der Gegenstand dieses Kernbereichs sind die Integration und die Integrationstests eines identifizierbaren Endprodukts f r das ein Abnahmetest definiert ist oder durchgef hrt wird Ein Endprodukt kann eine Komponente ein Teilsystem oder gar ein komplettes F
82. eilen etc 7 A 2 Im Test Projekt werden Output Metriken gef hrt e Testprodukte Spezifikationen und Testf lle Protokolle e Testfortschritt ausgef hrte Tests Status erfolgreich beendet fehlerhaft nicht beendet e Anzahl der Abweichungen Anzahl der gefundenen Fehler je Teststufe je Teilsystem nach Ursache Priorit t Status neu in L sung befindlich korrigiert erneute Test durchgef hrt e Erreichte Codeabdeckung f r zumindest den Low Level Test z B Anweisungs berdeckung CO Zweig berdeckung C1 7 A 3 Die Metriken werden im Testbericht verwendet Abh ngigkeiten Engagement und Motivation Ebene B Testen in Projektorganisation integriert Das F hren von Metriken ist als Investition in die Qualit t des Testprozesses zu betrachten Das erfordert bei den Auftraggebern des Testens ein gewisses Ma an Qualit tsdenken Testprozessmanagement Ebene B Planung Durchf hrung berwachung Anpassung Die f r Metriken verwendeten Werte m ssen zuverl ssig sein Das erfordert eine gute Verwaltung des Testprozesses Sogeti Deutschland GmbH Version 1 01 28 03 06 42 Berichterstattung Ebene B Fortschritt Status der Tests und der Produkte Aktivit ten Zeit und Kosten Meilensteine Abweichungen mit Priorit ten Das F hren von Metriken hat wenig Sinn wenn sie nicht festgehalten und verwendet werden Dokumentation der Abweichungen Ebene A interne Dokumentation der Abweichungen Eine Vorausse
83. eller Komponenten eine nach der anderen oder in Kombination Um eine Komponente korrekt zu testen muss der Tester blicherweise Stubs und Treiber einsetzen oder diese durch echte Komponenten ersetzen Integrationstest ist der Prozess Fehler in Schnittstellen bzw im Zusammenspiel verschiedener integrierter Komponenten aufzuzeigen Im Gegensatz zum Low Level Test liegt der Schwerpunkt auf dem Zusammenspiel der Module Komponenten etc Gegenstand und Umfang der Integrationstests ver ndern sich im Laufe des Entwicklungsprozesses In den ersten Phasen des Entwicklungsprozesses liegt der Schwerpunkt beim Integrationstest von Komponenten auf der niedrigsten Ebene Das Testen unterscheidet sich anfangs nicht so sehr vom Low Level Test Gegen Ende des Entwicklungsprozesses versteht man unter Integrationstests die Kombination kompletter Subsysteme wobei der Charakter des Integrationstests eher dem von High Level Tests entspricht Dennoch findet f r diese beiden Gegens tze derselbe Kernbereich 21 Anwendung da die Prozesse des Integrationstests dieselben sind Obwohl das Modell diese drei Testebenen unterscheidet bedeutet dies nicht dass alle drei Ebenen f r jede Analyse Untersuchungsgegenstand sein m ssen Die Anwendung des Modells in einer Situation bei der High Level Tests Gegenstand sind ist offensichtlich Die Kernbereiche 1 bis 19 lassen sich auf diese Situation anwenden Sogeti Deutschland GmbH Version 1 01 28 03 06 8
84. en Eine Testtechnik wobei das simuliert eingebettete System mit Verbindung zur realen Welt getestet wird Ein Testtool das die Testeingaben aufzeichnet sobald diese im Test eingegeben werden Der Speicher in dem Testtool kann benutzt werden um den Test mit genau den gleichen Eingabedaten zu wiederholen Software in the Loop ist eine Testebene wobei die reale Software in einer simulierten Umgebung getestet wird Das ist eine Vorgehensweise zur Analyse von dynamischen Systemen Ein Computerprogramm oder ein System das genauso l uft wie ein Echtzeitsystem und mit kontrollierter Eingabe gesteuert wird Computerprogramme bzw Prozesse die zur Verarbeitung auf einem Computersystem ben tigt Sogeti Deutschland GmbH Version 1 01 28 03 06 121 Software unter Test Spezifikation Anforderungsspezifikation Statische Analyse Statischer Test St rung Defekt Stub System Systemkomponenten Systemtest Test und Pr fungskoordinator TPK Teststufe Testaktion Testautomation Testware Review werden Die Software die in der Testphase f r einen Test benutzt wird Eine Beschreibung wie die Komponenten zu funktionieren haben und deren Verhalten bei bestimmten Eingabewerten Ein Dokument das die Anforderungen spezifiziert Testen durch berpr fung und Untersuchung von Produkten ohne dass Programm teil e ausgef hrt werden Der Test eines Objektes ohne Ausf hrung au
85. en Bei den jeweiligen Ma nahmen muss gemessen werden ob und inwieweit diese ausgef hrt wurden Hilfsmittel sind dabei so genannte self analysis Selbsteinsch tzungen wobei das TPI Automotive Modell eingesetzt wird um schnell den Zustand des Testprozesses festzustellen Dabei untersuchen die Beteiligten anhand des TPI Automotive Modells ihren eigenen Testprozess Ein weiteres wesentliches Element in dieser Phase ist die Konsolidierung Es ist zu vermeiden dass die implementierten Optimierungsma nahmen einen einmaligen oder vor bergehenden Charakter haben Die ver nderte Arbeitsweise muss weiterhin angewendet werden Ausf hrung der Bewertung Inwieweit haben die implementierten Ma nahmen das gew nschte Ziel erbracht In dieser Phase wird festgestellt in welchem Umfang die Ma nahmen erfolgreich implementiert worden sind und inwiefern die urspr nglichen Ziele erreicht wurden Umfang von High Level Low Level und Integrationstests Im TPI Automotive Modell werden drei unterschiedliche Teststufen unterschieden High Level Tests Low Level Tests Integrationstests Bei High Level Tests werden ganze vollst ndige Produkte getestet Ein ganzes vollst ndiges Produkt bezeichnet ein Produkt so wie es bei der Beauftragung f r dieses Produkt definiert wurde Der Zweck von High Level Tests ist aufzuzeigen in welchem Umfang die Anforderungen im System implementiert wurden Low Level Test ist der Prozess des Testens individu
86. en Zeit erstellt bzw zusammengestellt zu werden Um sicherzustellen dass die Testumgebung rechtzeitig zur Verf gung steht werden die erforderlichen Vorbereitungsaktivit ten geplant Dies beinhaltet z B die Entwicklung spezieller Simulatoren Stubs oder Treiber die Beschaffung und oder Konfiguration von Tools die Koordination von Lieferterminen mit externen Lieferanten f r deren Komponenten das Treffen von Vereinbarungen mit dem OEM ber die Verf gbarkeit von Prototypfahrzeugen und deren Minimalspezifikation In der Praxis stellt auch das Testobjekt einen Bestandteil der Testumgebung dar und muss daher rechtzeitig bereitgestellt werden Dies kann bedeuten dass das Testobjekt eine gewisse Zeit vor Beginn der Testdurchf hrung zur Verf gung stehen muss um die Testumgebung fertig zusammenstellen zu k nnen Die Winter und Sommererprobungen k nnen nur w hrend bestimmter Monate im Jahr durchgef hrt werden Den klimatischen Umst nden entsprechend gelten spezielle Anforderungen an die Testumgebung Die richtige Funktionalit t des Testobjekts h ngt ebenfalls von den klimatischen Gegebenheiten ab Die Testumgebung muss so eingerichtet sein dass die Testdurchf hrung so effizient wie m glich erfolgen kann Sofern erforderlich k nnen mehrere Tests parallel ausgef hrt werden falls mehr als eine Testumgebung zur Verf gung steht ohne die Ergebnisse der anderen Tester zu beeinflussen Es gibt Mittel und Wege um die Ausgangssituation e
87. en einander angepasst werden desto h her wird die Qualit t der gesamten Teststrategie Die Optimierung des Testprozesses beginnt in erster Linie bei den High Level Tests Deshalb durchl uft ein Testprozess f r diesen Kernbereich folgende Reifegradebenen In der ersten Ebene wird mit einer Teststrategie f r einen einzelnen High Level Test begonnen in der n chsten Ebene findet die Koordination der Strategie zwischen den verschiedenen High Level Tests statt bis auf der h chsten Ebene eine Gesamtstrategieabstimmung zwischen s mtlichen Test und Pr fungsstufen erfolgt Ein Merkmal der Startebene ist dass der Test nur ber die Ressourcen und die Zeit kontrolliert wird Meistens wird nur eine einzige Testspezifikationstechnik angewandt und nur die Funktionalit t getestet Ferner findet zwischen den verschiedenen Teststufen keine Abstimmung im Zusammenhang mit den zu berpr fenden Qualit tsmerkmalen dem Betrachtungsbereich des Tests usw statt Die Teststrategie basiert auf einer Risikoeinsch tzung Risiko basierte Teststrategie Diese Risikoeinsch tzung bietet die M glichkeit das ideale Gleichgewicht zwischen der gew nschten Qualit t und dem erforderlichen zeitlichen und finanziellen Umfang zu finden Komponenten mit einem hohen spezifischen Risiko werden in vollem Umfang Gegenstand des Tests sein Die Risikoabsch tzung in Verbindung mit der Gr e des Teils bestimmt den erforderlichen zeitlichen und finanziellen Aufwand um dieses
88. endung dieser Methodologie zu schulen und Testprojekte personell zu besetzen Sorgen Sie f r strukturelle Kommunikation zwischen den Projekten und dieser Testabteilung z B um Abweichungen zwischen den Anweisungen zu diskutieren Beispiel Die Testorganisation kann als Linienabteilung organisiert werden die die M glichkeit bietet einen standardisierten Testprozess zu implementieren In dieser Form wird der Testprozess als Fabrik angesehen die ber Personal Tester Maschinen Infrastruktur und Tools etc verf gt Verschiedene Kunden Projekte etc k nnen Ihre Testaufgaben an diese Testorganisation auslagern Der Auftraggeber kommt mit seiner Anforderung zu dieser Fabrik Die Anforderungen werden in Form von Arbeitsauftr gen f r das Personal eingeplant die Infrastruktur wird korrekt angepasst der Auftrag wird ausgef hrt und der Auftraggeber kann das Produkt Das getestete Produkt m gliche Abweichungen Berichtswesen und Empfehlungen zum vereinbarten Zeitpunkt entgegennehmen Die Qualit tsstandards der Fabrik garantieren dem Auftraggeber eine gewisse Testqualit t Sogeti Deutschland GmbH Version 1 01 28 03 06 72 Das dieser Prozess in der Regel f r jeden Auftrag derselbe ist und die Infrastruktur und das Personal bereits in der Fabrik verf gbar sind ist es weitaus effizienter und die Tests k nnen in deutlich k rzerer Zeit durchgef hrt werden als wenn der Testprozess jedes Mal von Grund auf f r jedes Projekt n
89. enen High Level Tests vor allem dem System Abnahme und Produktionsfreigabetest oder Tests auf Lieferanten und Auftraggeberseite auf dem Gebiet der Teststrategie Risiken Qualit tsmerkmale Betrachtungsbereich des Tests und der Planung 1 B 2 Das Ergebnis der Abstimmung ist eine koordinierte Strategie die schriftlich festgelegt und w hrend des gesamten Testprozesses berwacht wird 1 B 3 Jeder High Level Test bestimmt auf der Grundlage der koordinierten Strategie die eigene Teststrategie wie bei Ebene A beschrieben 1 B 4 Abweichungen von der koordinierten Strategie werden gemeldet Eine fundierte Anpassung der koordinierten Strategie wird auf Basis der aus dieser Abweichung resultierenden Risiken vorgenommen Im Falle inkrementeller Lieferungen wird f r jedes einzelne Inkrement die Strategie validiert 1 B 5 F r Nachtests findet eine Koordination zwischen den unterschiedlichen Teststufen statt Sofern die verschiedenen Teststufen die Organisationsgrenzen berschreiten f llen Auftraggeber und Lieferant auf Basis der Eingangs und Ausgangskriterien klare Entscheidungen ber Nachtests auf beiden Seiten Abh ngigkeiten Einsatz des Phasenmodells Ebene A Planung Spezifikation Durchf hrung Zur Abstimmung m ssen im Vorfeld des Testens Vereinbarungen getroffen werden was wie und wann zu testen ist Planungsphase Die durchzuf hrenden Aktivit ten m ssen dokumentiert werden Dies erfordert einen transparenten Prozess
90. enfalls ber die Qualit t des Testprozesses Sogeti Deutschland GmbH Version 1 01 28 03 06 76 14 B 4 Vereinbarungen die bei diesen Treffen festgelegt werden werden dokumentiert 14 B 5 Der Testmanager wird unverz glich ber nderungen im geplanten und vereinbarten Freigabedatum sowohl der Testbasis als des Testobjekts und der Testumgebung z B Mechanische Komponenten Prototypfahrzeuge Simulatoren Software Modelle in Kenntnis gesetzt 14 B 6 Bei einer in regelm igen Abst nden stattfindenden Auswertungsbesprechung auch Analyseforum genannt werden Testergebnisse zwischen den Vertretern des Testteams und anderen beteiligten Gruppen z B Lieferant und oder Auftraggeber er rtert 14 B 7 Tester sind beim change control an der Beurteilung der Auswirkung von nderungsvorschl gen im Testaufwand beteiligt 14 B 8 Vereinbarungen zur Unterst tzung werden zwischen Testteam und dem Lieferanten des Testobjekts getroffen Diese Vereinbarungen beinhalten Beheben von Abweichungen die den Testfortschritt blockieren Kommunikationswege und Eskalationsverfahren Abh ngigkeiten Berichterstattung Ebene B Fortschritt Aktivit ten Abweichungen mit Priorit ten Phasenmodell Ebene A Planung Spezifikation und Durchf hrung Die Teilnahme an den Projektbesprechungen in denen das Testteam ber die Qualit t und den Fortschritt berichtet bedeutet dass der Testprozess berpr fbar sein muss Der Einsatz
91. eniger von individuellen Personen abh ngig die Anlernzeit f r neue Mitarbeiter wird verk rzt und die Eindeutigkeit der Methode erh ht die Qualit t des Prozesses Nur eine dokumentierte und strukturierte Arbeitsweise bietet die M glichkeit einer kontinuierlichen Verbesserung Kontrollpunkte 13 A 1 Die Methodik wird f r jedes Projekt formuliert 13 A 2 Die beschriebenen Aspekte beinhalten zumindest folgendes Beschreibung des vollst ndigen Phasenmodells des Testens Verwaltung des Testprozesses Fortschritt und Qualit t Testproduktmanagement Verwaltung von Abweichungen und anzuwendende Testspezifikationstechniken 13 A 3 Es wird tats chlich nach der Methodik vorgegangen Abh ngigkeiten Einsatz des Phasenmodells Ebene B Planung Vorbereitung Spezifikation Durchf hrung und Abschluss Testspezifikationstechniken Ebene B formale Techniken Testware Management Ebene A internes Testware Management Dokumentation der Abweichungen Ebene A interne Dokumentation der Abweichungen Wir sprechen erst dann von einer Methodik wenn der Testprozess den oben genannten Ebenen entspricht Testprozessmanagement Ebene B Planung Durchf hrung berwachung und Anpassung Die Methodik darf nicht nur beschrieben sein sondern ist auch einzuhalten Zu diesem Zweck muss eine berwachung und Anpassung des Prozesses stattfinden Sogeti Deutschland GmbH Version 1 01 28 03 06 70 Optimierungsvorschl ge Lege
92. erantwortlich ist fordert von verschiedenen Projekten einheitliche Metriken Jedes Projekt oder die Wartungsorganisation bertr gt die gesammelten Metriken an diese Abteilung Sogeti Deutschland GmbH Version 1 01 28 03 06 46 8 TESTAUTOMATISIERUNG Ein schnelleres und ein besseres Testen geh rt zu den wesentlichen Zielsetzungen vieler Testorganisationen Die Automatisierung des Testprozesses mit Hilfe von Testtools ist ein wichtiges Hilfsmittel zum Erreichen dieser Zielsetzung Zur Erl uterung des Kernbereichs Testautomatisierung ist es zun chst wichtig festzustellen was unter einem Testtool verstanden wird Ein Testtool ist ein automatisiertes Hilfsmittel das einem oder mehreren Testaktivit ten wie Planung und Verwaltung Spezifikation von Testf llen Aufbau der Ausgangsdateien Testdurchf hrung und Beurteilung Unterst tzung bietet Der Nachdruck liegt dabei auf unterst tzen Durch den Einsatz von Testtools muss eine h here Produktivit t bzw Effizienz erreicht werden k nnen Das bedeutet dass ein Testtool erst dann ein Hilfsmittel ist wenn sein Einsatz einen Vorteil bringt der Einsatz eines Tools darf kein Ziel an sich sein Automatisierung innerhalb des Testprozesses kann auf verschiedene Weisen stattfinden und hat in der Regel eines oder mehrere der folgenden Ziele Weniger erforderliche Stunden K rzere Durchlaufzeit H here Testtiefe Gr ere Flexibilit t beim Testen Umfassenderer un
93. erden muss wobei auch hier zun chst davon ausgegangen wird dass die Pr fung jedes Produkts gleich arbeitsintensiv ist Geben Sie anschlie end je Zwischenprodukt oder Teilsystem an welche Qualit tsmerkmale relevant sind und wie intensiv diese bezogen auf die zugewiesene Bedeutung zu testen sind Festlegung der einzusetzenden Pr fungstechniken Als letzter Schritt bei der Pr fungsstrategie werden Pr fungstechniken ausgew hlt anhand derer die im ersten Schritt bestimmten Qualit tsmerkmale und die festgestellten Teilsysteme gepr ft werden Sogeti Deutschland GmbH Version 1 01 28 03 06 101 20 LOW LEVEL TESTS Die Low Level Tests werden von den Entwicklern durchgef hrt Bekannte Low Level Tests sind der Unit Test und der Komponententest hnlich wie bei der Evaluierung k nnen Fehler durch diese Tests in einem fr heren Stadium der Systementwicklung entdeckt werden als dies mit High Level Tests m glich w re Low Level Tests sind effizient da sie wenig Absprachen erfordern die Analyse einfacher ist und der Finder des Fehlers h ufig auch derjenige ist der ihn verursacht hat und ihn auch behebt Low Level Tests ist die Teststufe wo die Konformit t mit Programmierstandards wie z B der Programmierstandardteil von MISRA gezeigt werden muss Die Konformit t mit einem solchen Standard kann dadurch sichergestellt werden dass man die Entwicklungsumgebung um Code Checker erg nzt was zudem die M glichkeit bietet Code M
94. ereinbarte Auswahl davon werden nach Beendigung des Testes vervollst ndigt vollst ndig und aktualisiert und an die Wartungsorganisation bertragen anschlie end wird die bertragung formal best tigt 17 C 2 Die bertragenen Testprodukte werden tats chlich wieder verwendet Sogeti Deutschland GmbH Version 1 01 28 03 06 93 Abh ngigkeiten Testspezifikationstechniken Ebene B formale Techniken Um Testware bertragbar zu machen muss die Arbeitsweise wie die Testware zustande gekommen ist f r jeden verst ndlich sein Das bedeutet dass bestimmte Techniken angewandt werden m ssen Optimierungsvorschl ge Erw gen Sie die Verwaltung der Testware am Ende eines Projektes zentral bei einer Linienverwaltung Testen durchzuf hren Das Problem bei der Aktualisierung der Testware besteht darin dass relativ kleine nderungen der Testbasis gro e Konsequenzen haben k nnen Stellen Sie sich vor die funktionalen Spezifikationen werden innerhalb von 10 Minuten angepasst und der Programmierer implementiert die nderungen in zwei Stunden ist es in einer solchen Situation akzeptabel dass der tats chliche Test dieser nderungen 4 Stunden ben tigt und zus tzlich 20 Stunden ben tigt werden um die Testware anzupassen Eine m gliche L sung f r dieses Dilemma besteht darin dass man den Umfang der Testware reduziert diese muss dann jedoch stets vollst ndig und aktuell sein Diese Reduktion der Testware orientiert si
95. esses unterscheidet sich hierbei nicht wesentlich von jedem beliebigen anderen nderungsprozess Das folgende Diagramm stellt die Aktivit ten eines nderungsprozesses dar Diese Aktivit ten werden beschrieben wobei auf die Elemente besonders eingegangen wird bei denen das TPI Automotive Modell eine spezifische Rolle spielen kann Schaffung des Bewusstseins Bestimmung von Ziel Betrachtungsbereich und Vorgehensweise Ausf hrung des Assessments Definition der Optimierungs ma nahmen Aufstellen des Plans Ausf hrung der Bewertung Implementierung von Optimierungs ma nahmen Schaffung des Bewusstseins Der Grund f r eine Optimierung des Testprozesses liegt meistens im Erkennen gewisser Probleme im Bereich des Testens F r diese Probleme will man L sungen finden und eine Optimierung des Testprozesses wird als eine solche L sung angesehen Sogeti Deutschland GmbH Version 1 01 28 03 06 6 Dieses Bewusstsein beinhaltet dass alle Beteiligten untereinander ber die wichtigsten Punkte des nderungsprozesses einig werden und ihre Unterst tzung zusichern Das Engagement darf nicht nur zu Beginn des nderungsprozesses vorhanden sein sondern muss sich durch alle Phasen des Prozesses ziehen Dies erfordert regelm ige Informationsverteilung und Meetings Bestimmung von Ziel Betrachtungsbereich und Vorgehensweise Bei dieser Aktivit t
96. eti Deutschland GmbH Version 1 01 28 03 06 64 Diese Funktionen lassen sich ein und ausschalten Erw gen Sie ebenfalls die Implementierung von in die Software eingebrachten Tests Diese Tests f hren eine bestimmte Standardkontrolle durch beispielsweise ob eine Datenstruktur vollst ndig ausgef llt ist Das erh ht das Vertrauen in den Betrieb eines Systems und erleichtert die Fehleranalyse Automatisierung des Testprozesses hat einen positiven Einfluss auf die Motivation da langweilige und sich wiederholende Arbeiten nicht mehr manuell durchgef hrt zu werden brauchen F r weitgehende Automatisierung siehe die Hinweise bei der entsprechenden Ebene der Testautomatisierung Bilden Sie Tester aus bzw engagieren Sie Personal mit spezifischen Sachkenntnissen so dass das Testteam einen sinnvollen Beitrag zum fr hen Entwicklungsprozess leisten kann Dr ngen Sie die Organisation dazu mit einem Software Process Improvement Programm zu beginnen um den Entwicklungsprozess besser kontrollierbar und vorhersehbar zu machen Werben Sie in der Organisation f r das Testen Hiermit wird innerhalb der Organisation das Augenmerk auf das Testen gerichtet auf die Vorteile des Testens darauf dass es ein separates Fach ist usw Sogeti Deutschland GmbH Version 1 01 28 03 06 65 12 __TESTFUNKTIONEN UND AUSBILDUNGEN In einem Testprozess ist die richtige Zusammenstellung eines Testteams sehr wichtig Es bedarf einer Mischun
97. etriken ber den Quellcode zu liefern Dies wird von Auftraggebern zunehmend gefordert Dennoch ist die Qualit t der durchgef hrten Tests oft niedriger Dies resultiert daraus dass ein Entwickler im Vergleich zu einem Tester eine andere Grundeinstellung hat Ein Entwickler m chte zeigen dass das System fehlerfrei arbeitet ein Tester versucht den Unterschied zwischen der geforderten und der gelieferten Qualit t aufzuzeigen indem er konkret nach Abweichungen sucht 20 A Phasenmodell f r Low Level Tests Planung Spezifikation und Durchf hrung Beschreibung Der wesentliche Vorteil einer strukturierten Arbeitsweise bei Low Level Tests liegt darin dass der Prozess besser verwaltet werden kann und der Einblick in die Qualit t des Tests gr er wird Wenn bei den Testaktivit ten nicht festgehalten wird wann diese beginnen wer den Test durchf hrt und was der Test beinhaltet ist der Testprozess nicht verwaltbar Man kann auf diese Weise keine Informationen ber die Qualit t des getesteten Objekts erhalten Damit man dennoch bis zu einem gewissen Grad einen Einblick in die Qualit t bekommt m ssen andere Teststufen dann mehr leisten Kontrollpunkte 20 A 1 Bei einem Low Level Test werden mindestens folgende Phasen unterschieden Planung Spezifikation und Durchf hrung Diese werden nacheinander ausgef hrt gegebenenfalls f r jedes Teilsystem 20 A 2 Die auszuf hrenden Aktivit ten f r jede Phase werden im folgenden genan
98. eu aufgesetzt werden m sste Eine Voraussetzung f r einen solchen Prozess ist dass der Auftrag mit der verf gbaren Infrastruktur abgewickelt werden kann Wenn eine neue Testinfrastruktur bestellt werden muss ben tigt man R stzeit Obwohl dieser Prozess das Testen schneller billiger und besser macht sind einige Punkte von gr erer Bedeutung als gew hnlich Feste Vereinbarungen und gute Kommunikation zwischen dem Auftragnehmer und dem Auftraggeber Gen gend technische Ausstattung Verf gbarkeit von Fachkenntnis 13 D Organisationsoptimierend F amp E Aktivit ten Beschreibung Eine generische Vorgehensweise darf nicht statisch sein sondern muss berwacht und angepasst werden um den sich ndernden Verh ltnissen zu entsprechen Bei Entwicklungen die neu f r eine Organisation sind beispielsweise Rapid Application Development muss ermittelt werden ob das Testkonzept anzupassen ist Ferner wird versucht auf dieser Ebene das Optimum zwischen generischen und spezifischen Anteilen so gut wie m glich zu erreichen Kontrollpunkte 13 D 1 Es findet ein strukturierter Feedback Prozess sowohl formal festgeschrieben als auch durch die F amp E Abteilung implementiert zum generischen Modell statt 13 D 2 Das generischen Modell wird strukturell gewartet und erneuert durch F amp E u a auf der Grundlage von Feedback Abh ngigkeiten Engagement und Motivation Ebene B Testen in Projektorganisation
99. eutschland GmbH Version 1 01 28 03 06 110 21 B 5 Auch f r Wiederholungstests findet eine einfache Strategiebestimmung statt in der eine berlegte Entscheidung zwischen nur Testen der L sungen und Vollst ndige Testwiederholung getroffen wird 21 B 6 Abweichungen von der koordinierenden Strategie werden berichtet woraufhin eine begr ndete Anpassung der koordinierenden Strategie auf Basis der identifizierten Risiken erfolgt 21 B 7 Vereinbarungen f r die Unterst tzung durch den Komponentenlieferanten werden getroffen Diese Vereinbarungen beinhalten Fehlerbehebung Behebung von testblockierenden Abweichungen Kommunikationsstrukturen z B regelm ige Integrationsmeetings und Eskalationsprozedur Abh ngigkeiten Phasenmodell Ebene B Planung Vorbereitung Spezifikation Durchf hrung und Abschluss Zeitpunkt der Beteiligung Ebene B Beginn der Testbasis Optimierungsvorschl ge Der Integrator sollte Zugang zu allen relevanten Zwischenprodukten Design Quellcode sofern er als Teil der Lieferung definiert ist und alle Testprodukte des Komponentenlieferanten haben Bei der Definition der Teststrategie sollte man folgenden Punkten bei der Ermittlung des Risikos besondere Aufmerksamkeit widmen Die Funktionalit t der Hardware oder Software Komponenten Die Komplexit t von Hardware oder Software Komponenten und Ihre Schnittstelle Die bereitgestellten Qualit tsnachweise f r Hardware
100. f einem Computer Die Manifestation eines Fehlers in der Software meistens durch eine Fehlermeldung sichtbar gemacht Ein simulierter Teil eines Softwaremoduls um das Testen f r bestimmte Funktionen zu unterst tzen Eine Kollektion von Komponenten die spezielle Funktionen bernehmen Teil eines kompletten Systems Ein Test der nachweisen soll dass das entwickelte System oder Teile davon den in den Spezifikationen festgelegten Anforderungen entspricht Dieser ist verantwortlich f r die Identifikation und Definition der Testobjekte und Testpakete Weiterhin unterst tzt er die technische Leitung und generiert den Testbericht Eine Reihe von Gruppenaktivit ten welche organisiert und verwaltet werden entweder als High Level oder als Low Level Tests Teil des Testfalles der die Aktionen beschreibt Der Gebrauch von Software um einzelne Tests zu automatisieren Die ausf hrliche Auswertung der zu testenden Grundlage Sogeti Deutschland GmbH Version 1 01 28 03 06 122 Testbasis Testendekriterium Testdesigntechnik Testdurchf hrung Testen Testfall Testinfrastruktur Testmesstechnik Testobjekt Testorganisation Testplan Testablauf Testprozess Testreifematrix Testsatz Testskript Alle Dokumente die an einem System gestellt werden bzw auf welcher der Test beruht Ein Kriterium das festlegt wann der geplante Test fertig ist Eine standardisierte Methode von vers
101. falls relevant und den Testberichten an den Hersteller OEM original equipment manufacturer ausgeliefert Der OEM evaluiert die Testware um sicherzustellen dass die Eingangskriterien erf llt sind Erg nzend zu der Pr fung der Testware kann ein so genannter Eingangstest definiert werden und an den Lieferanten des Testobjekts kommuniziert werden Als Teil des Akzeptanztests f r das gelieferte Testobjekt wird dieser Test durchgef hrt Dieser Test zeigt klar und objektiv ob das Testobjekt reif f r die n chste Teststufe ist Verwenden Sie Eingangs und Ausgangskriterien je Teststufe wobei ausdr cklich nach einer Dokumentation und Nachvollziehbarkeit der Testabdeckung gefragt wird Verwenden Sie Eingangs und Ausgangskriterien f r jede Teststufe um eine klare Abgrenzung zwischen den unterschiedlichen Teststufen vorzunehmen Typische Eingangskriterien sind Es sind keine Fehler des h chsten Schweregrads mehr offen oder das Prototyp Fahrzeug steht in der definierten Konfiguration zur Verf gung Typische Ausgangskriterien sind dass alle geplanten Testf lle durchgef hrt wurden und keine Fehler mehr offen stehen Bei umfangreichen berlappungen zwischen bestimmten Teststufen gibt es auch die M glichkeit beide Teststufen miteinander zu kombinieren Man denke hierbei an eine Kombination von Systemtest und Abnahmetest zu einem integrierten Test Kernaspekte dabei sind die Verantwortlichkeiten und Erwartungen Legitime Gr nde f r einen integ
102. festzustellen Abnahmetestf lle k nnen beispielsweise dem Systemtest bergeben werden Der Systemtest kann dann feststellen evtl sogar ohne Software ob das System gem den Testf llen funktionieren wird Ein m gliches Risiko dabei ist dass der Systemtest ausschlie lich diese F lle verwendet was nicht Sinn der Sache ist und dass faktisch der gleiche Test zweimal ausgef hrt wird 3 C Aufstellen der Anforderungen Beschreibung Wenn das Testen beim Aufstellen der Anforderungen mit einbezogen wird erh lt man mehr Sicherheit ber die Qualit t des Systems Das Testen kann sich darauf konzentrieren dass die Qualit tsanforderungen vollst ndig und messbar spezifiziert werden dass Akzeptanzkriterien bestimmt und die Testbarkeit des Entwurfs und der Sogeti Deutschland GmbH Version 1 01 28 03 06 29 Software ber cksichtigt werden Indem solche Klarheit in dieser Phase geschaffen wird k nnen zu einem sp teren Zeitpunkt teure Diskussionen ber Anforderungen und Kriterien vermieden werden Kontrollpunkte 3 C 1 Die Aktivit t Testen beginnt gleichzeitig oder fr her als die Phase in der die Kunden und System Anforderungen gestellt werden Abh ngigkeiten Keine Optimierungsvorschl ge Beziehen Sie die Tester bei der Aufstellung der Anforderungen mit ein um daf r zu sorgen dass die Anforderungen konkret messbar und testbar sind Die wichtigste Voraussetzung ist dass das Testteam ber ausr
103. fgabe der methodischen Unterst tzung ist gesondert festzulegen Zu den Aktivit ten geh ren das Aufstellen und Aktualisieren von Testvorschriften verfahren und techniken sowie die Beratung und Kontrolle ber der korrekten Anwendung 12 B 2 Die Aufgabe der technischen Unterst tzung ist gesondert festzulegen 12 B 3 Die Aufgabe der funktionalen Unterst tzung ist gesondert festzulegen 12 B 4 Die Aufgaben der Testprozessverwaltung sind gesondert festzulegen Zur Testprozessverwaltung z hlt das Erfassen Speichern und Verf gung stellen aller Verwaltungsobjekte des Testprozesses Dies erfolgt manchmal durch eigenst ndiges F hren der Verwaltung in anderen F llen durch Einrichtung bzw Kontrolle der Verwaltung Zu verwaltende Objekte sind Fortschritt Budgets und Abweichungen 12 B 5 Die Aufgaben des Testware Managements sind gesondert festzulegen Zu den Aufgaben des Testware Managements z hlt die Erfassung Speicherung und zur Sogeti Deutschland GmbH Version 1 01 28 03 06 67 Verf gung stellen aller Verwaltungsobjekte der Testware Dies geschieht manchmal durch eigenst ndiges F hren der Verwaltung in anderen F llen durch Einrichtung bzw Kontrolle der Verwaltung Zu verwaltende Objekte sind Testdokumentation Testbasis und Testobjekt intern Testware einschlie lich Dateien Testanweisungen und Prozeduren 12 B 6 Die Aufgabe Management der Testinfrastruktur ist gesondert festzulegen Sie besteht aus der Erfassung Sp
104. fischen Infrastruktur und der m glichen Rahmenbedingungen die an den Testprozess gestellt werden Testf lle m ssen beispielsweise anstatt in einer freien Textform in einer bestimmten Struktur festgelegt werden so dass ein Testtool diese Struktur als Eingabe verwenden kann 8 B 4 Falls ein Testsequenzer zur automatisierten Testdurchf hrung eingesetzt wird wird bei der Implementierung explizit die Wartbarkeit der aufgenommenen Testskripte ber cksichtigt 8 B 5 Die eingesetzten Tools sind berwiegend in einem zuk nftigen Testprozess wieder verwendbar Dazu ist die Verwaltung der Testtools entsprechend eingerichtet Mit berwiegend ist gemeint dass Testtools die ausdr cklich f r den Einsatz innerhalb eines einzigen Testprozesses gedacht sind nicht unbedingt wieder verwendbar zu sein brauchen 8 B 6 Der Einsatz der Testtools passt in die gew nschte Arbeitsweise des Testprozesses d h dass der Einsatz des Testtools keine Ineffizienz oder unerw nschte Einschr nkungen des Testprozesses zur Folge hat Abh ngigkeiten Sogeti Deutschland GmbH Version 1 01 28 03 06 49 Testfunktionen und Ausbildungen Ebene A Testmanager und Tester Ein guter Einsatz von Testtools f r Durchf hrung und Analyse erfordert Sachkenntnis der Tester Testspezifikationstechniken Ebene A nichtformale Techniken Nur dann zutreffend wenn Testsequenzer verwendet werden Eine automatisierte Testdurchf hrung hat nur Sinn wenn
105. funktionen und Ausbildungen Ebene A Testmanager Integrator und Tester Eine gute Verwaltung der Testumgebung erfordert geschultes Testpersonal Optimierungsvorschl ge Wenn das Bewusstsein f r eine funktionsf hige Testumgebung bei den Projektbeteiligten nicht ausreicht sammeln Sie Beispiele in denen die Testumgebung unkontrolliert war und diskutieren Sie die dadurch entstandenen Probleme Treffen Sie Ma nahmen f r einschr nkende Faktoren die nicht ge ndert werden k nnen Beispiel Wenn von der Lieferung durch das Testteam bis zum Einsatz immer mindestens eine Woche vergeht beschr nken Sie dann die Anzahl der Freigaben indem Sie andere Aktivit ten z B creative workarounds ausf hren Sorgen Sie daf r dass die Verantwortung f r die Testumgebung beim Testmanager liegt K mmern Sie darum dass Backup und Wiederherstellung von Testsituationen Verwaltung ben tigte Tools usw rechtzeitig zur Verf gung stehen Ein bekanntes Testproblem besteht darin dass Tests die in der gleichen Testumgebung ausgef hrt werden einander st rend beeinflussen Um dieses Problem zu umgehen und auch die Durchlaufzeit zu verk rzen k nne Sie berlegen mehrere Testumgebungen zu organisieren dann k nnen die Tester simultan arbeiten ohne die Tests der anderen ber cksichtigen zu m ssen Ein Nachteil besteht darin dass die Verwaltung der Testumgebungen komplexer wird und da mehr Testausr stung ben tigt wird wird das Testen
106. g von verschiedenen Bereichen Funktionen Kenntnissen und F higkeiten Neben der spezifischen Testsachkenntnis sind beispielsweise auch die Kenntnisse der zu testenden Materie Fachwissen sowie Kenntnisse der Organisation und zur Softwareentwicklung notwendig Ferner sind soziale F higkeiten sehr wichtig Eine solche Mischung erfordert unter anderem eine entsprechende Ausbildungen 12 A Testmanager Integrator und Tester Beschreibung Der Einsatz von fachkundigen Testern ist f r einen gut verlaufenden Testprozess von gro er Bedeutung Bei einem Testteam das sich beispielsweise ganz aus Anwendern oder Entwicklern zusammensetzt ist die Wahrscheinlichkeit viel kleiner dass ein qualitativ guter Testprozess zustande kommt Abgesehen von den spezifischen Kenntnisse und F higkeiten ber die ein Tester verf gen muss spielt hier auch ein bisschen Psyche mit Myers Myers 1979 hat bereits nachgewiesen dass die Grundeinstellung eines Testers eine wesentlich andere ist als die eines Entwicklers Ein Tester versucht den Mangel an Qualit t aufzuzeigen und begibt sich dazu aktiv auf die Suche nach Fehlern Ein Entwickler hingegen will vielmehr nachweisen dass das System gut ist Kontrollpunkte 12 A 1 Das Testpersonal besteht aus mindestens einem Testmanager und einigen Testern Wenn es ein Bestandteil des Testprojekts ist Lieferungen von Zweiten oder von Dritten zu integrieren muss zus tzlich die Rolle eines Integrators definiert
107. gemeldet werden werden im Abweichungsmanagementsystem zentral erfasst 16 C 3 Jede Einheit Auftraggeber Lieferant Vorlieferant hat ihre eigene Ansicht auf das Abweichungsmanagementsystem Diese Ansicht gew hrt Zugriff auf genau die Art von Informationen die notwendig sind um ihre T tigkeit auszu ben Jede Einheit verwaltet ihre eigenen Informationen und entscheidet welche Art von Informationen f r wen zug nglich gemacht werden indem Berechtigungsprofile eingesetzt werden Abh ngigkeiten Keine Optimierungsvorschl ge F hren Sie Autorisierungsprofile je Einheit die das Abweichungsmanagementsystem nutzt ein Die Autorisierung sollte durch die Einheit selbst berwacht werden Jedes Autorisierungsprofil bezieht sich auf eine bestimmte Rolle Die zug ngliche Information beschr nkt sich auf das absolute Minimum das erforderlich ist um diese Rolle auszuf llen Mindestens zwei Autorisierungsprofile m ssen je Einheit definiert werden eines f r internen Gebrauch und ein sogenanntes Gastprofil mit beschr nktem Zugriff auf Informationen Eine zu eingeschr nkte Dokumentation der Abweichungen reicht nicht aus um im gesamten Projekt eingesetzt zu werden Wenn die Dokumentation der Abweichungen Sogeti Deutschland GmbH Version 1 01 28 03 06 88 jedoch gr tenteils also nicht ganz Ebene B entspricht kann es sinnvoll sein die Dokumentation der Abweichungen im gesamten Projekt einzusetzen Legen Sie ein Ve
108. gement Definition Bearbeitung der Abweichungen Im Testplan festgelegt Bestimmung der Planung Aspekte wie Aktivit ten Abh ngigkeiten Meilensteine Start und Enddaten sowie ben tigte Ressourcen Erstellen einer allgemeinen Planung Im Testplan festgelegt Festlegung des Testplans Feststellen der Risiken Gefahren und Ma nahmen mit Bezug zum Testprozess Ermitteln kritischer Testumgebungen z B EMV Halle Fahrzeug Prototyp Feststellen des Testplans Festlegung des Testplans Genehmigung des Auftraggebers Testplan Synchronisieren der Testprozessplanung mit dem gesamten Im Testplan festgelegt Idealerweise ist die Planung in die Produktprozess bergreifende Projektplanung integriert Die Spezifikationsphase Aktivit t Teilaktivit ten Aspekte Produkt Aufstellen Testf lle logisch und Testf lle Testspezifikationen und skripte konkret Definition Ausgangsdateien bzw Ausgangs Testdatenbank Testskripte Festlegen der Parametereinstellungen Definition Dateien bzw Testdatenbank Tabellen f r Parametereinstellungen Testskripte Sogeti Deutschland GmbH Version 1 01 28 03 06 23 Spezifizierung berpr fung von Testobjekt und Checkliste Testobjekt und Infrastruktur Vollst ndigkeits Checkliste Infrastruktur Testskript Vorbereitungstest
109. getestet 19 C 3 Aus mehreren Pr fungstechniken wird eine Auswahl getroffen die sich f r die gew nschte Tiefe der Pr fung eignet 19 C 4 Auch bei erneuter Pr fung findet eine einfache Strategiebestimmung statt bei der motiviert zwischen den Varianten nur L sungen pr fen und vollst ndig neu pr fen gew hlt wird 19 C 5 Die Strategie wird aufgestellt und danach auch ausgef hrt Es wird berwacht dass die Durchf hrung der Pr fungen gem Strategie stattfindet Falls erforderlich wird steuernd eingegriffen Abh ngigkeiten Keine Optimierungsvorschl ge Geben Sie die Risiken bei der gegenw rtigen Arbeitsweise an oder weisen Sie darauf hin dass die Pr fung schneller oder preiswerter durchgef hrt werden kann Wenn nur eine Technik vorliegt versuchen Sie dann durch einfache Varianten mehr oder weniger Tiefe zu erzielen Als Beispiel einer variablen Tiefe kann die Nicht Einbeziehung bestimmter Personen genannt werden oder eine Einschr nkung bzw Ausdehnung der Anzahl der Fragen Stellen Sie f r den erneuten Review eine Arbeitsweise auf bei der jedes mal bewusst und schriftlich festgelegt die Abw gung zwischen vollst ndigem erneuten Pr fen oder abgespecktem erneuten Pr fen je Fehler Teilsystem oder Zwischenprodukt gemacht werden muss Diskutieren Sie die verschiedenen Zwischenprodukte und Qualit tsmerkmale mit dem Auftraggeber und versuchen Sie die relative Bedeutung eines jede
110. hlu bericht Aufstellen des Abschlu berichts Abschlu bericht Abh ngigkeiten Statische Testtechniken Ebene A berpr fung der Testbasis Die berpr fung der Testbasis in der Vorbereitungsphase erfordert den Einsatz einer Technik um aussagekr ftig zu sein Testware Management Ebene A internes Testware Management Sogeti Deutschland GmbH Version 1 01 28 03 06 26 Damit die Testware nach Beendigung des Tests vervollst ndigt werden kann muss sie w hrend des Testprozesses richtig verwaltet worden sein Optimierungsvorschl ge Siehe Anweisungen unter Statische Testtechniken Ebene A Detail berpr fung Siehe Anweisungen unter Testware Management Ebene C bertragbare Testware Sogeti Deutschland GmbH Version 1 01 28 03 06 27 3 ZEITPUNKT DER BETEILIGUNG Obwohl die tats chliche Durchf hrung des Tests normalerweise nach der Realisierung der Software beginnt kann und muss der Testprozess sehr viel fr her anfangen Eine fr he Beteiligung des Testens bei der Systementwicklung ist dabei behilflich Fehler so fr h bzw so einfach wie m glich zu finden und sogar zu vermeiden Zwischen den verschiedenen Tests kann eine bessere Abstimmung stattfinden und die Zeit in der das Testen sich auf dem kritischen Pfad im Projekt befindet kann so minimiert werden In diesem Kernbereich werden die Begriffe Testbasis und Anforderungen verwendet Mit Testbas
111. hts anderes als dasselbe zu tun jedoch mit mehr Zusatzt tigkeiten Er beginnt zu realisieren dass die Sogeti Deutschland GmbH Version 1 01 28 03 06 6l Karrierem glichkeiten als Tester in seiner Firma nicht vorhanden sind Ihm bleibt nur die Alternative das Testen zu verlassen und Projektleiter f r Entwicklungsprojekte zu werden Das Traurige daran war dass es im Bereich Testen vielf ltige Karrierem glichkeiten in seiner Firma gab aber niemand hatte ihn informiert und die Information wurde von den Mitarbeitern mehr oder weniger geheim gehalten Indem er ein Projektleiter wurde hat die Firma einen sehr erfahrenen und in der Vergangenheit u erst motivierten Tester verloren Kontrollpunkte 11 B 1 Alle Beteiligte sind der Ansicht dass das Testen einen deutlichen und sp rbaren Einfluss auf die Qualit t des Produkts hat 11 B 2 Das Management will Einblick in die Tiefe und Qualit t des Testens haben 11 B 3 Das Management lenkt das Testen anhand von zeitlichen finanziellen und qualitativen Mitteln Ein Merkmal ist dass die L sung f r Testprobleme beispielsweise eine berschreitung der Testzeit oder des Testbudgets auch au erhalb des Testprojekts gesucht wird Dabei wird m glicherweise auch der Entwickler angesprochen 11 B 4 In der Projektplanung wird der Zyklus Testen Korrektur und erneut Testen ber cksichtigt 11 B 5 Das Testen beeinflusst die Reihenfolge der vom Entwickler bestimmten Freigabe 11 B 6 Die
112. ibung Wie bereits beim Einsatz des vollst ndigen Phasenmodells beschrieben wurde ist die Ausf hrung einer Detail berpr fung in der Vorbereitungsphase aus drei Gr nden wichtig zur Kontrolle der Testbarkeit zur fr hen Entdeckung von Fehlern in der Testbasis z B wenn eine Funktion falsch spezifiziert ist sowie zur detaillierten Einarbeitung in die Testbasis Ein Vorgehen anhand einer Checkliste ist erforderlich um die berpr fung auf strukturierte Art auszuf hren so dass man sich auf die wesentlichen Aspekte konzentriert andernfalls hat man keinen berblick ber jene Aspekte die ber cksichtigt werden m ssen und es besteht das Risiko dass das Dokument nur auf Rechtschreibfehler berpr ft wird Kontrollpunkte 6 A 1 Vor der Aufstellung der Testf lle wird die Testbarkeit der Testbasis berpr ft und dokumentiert 6 A 2 Bei dieser berpr fung werden die Checklisten eingesetzt Die Checklisten beziehen sich auf die Testspezifikationstechniken die in der Teststrategie ausgew hlt wurden Abh ngigkeiten Keine Optimierungsvorschl ge Machen Sie den Testern die Bedeutung einer Detail berpr fung der Testbasis und den Einsatz von Checklisten klar Legen Sie Checklisten f r folgendes an Allgemeine berpr fungen Diese Checkliste beinhaltet allgemein durchzuf hrende berpr fungen der Testbasis beispielsweise Stimmt das Inhaltsverzeichnis mit dem Rest der Testbasis berein Liegt ein logische
113. il 14 A 3 Abweichungen vom Testplan werden mitgeteilt und schriftlich festgehalten Abh ngigkeiten Keine Optimierungsvorschl ge Bitten Sie jedes Teammitglied regelm ig um eine Bewertung des Testprozesses Was l uft gut und was k nnte besser laufen Sorgen Sie f r eine konsistente Bearbeitung der Aktionen die sich aus den Besprechungen ergeben Sorgen Sie daf r dass Projektneuigkeiten in den Besprechungen mitgeteilt werden 14 B Projektkommunikation Abweichungen nderungs berwachung Beschreibung Sogeti Deutschland GmbH Version 1 01 28 03 06 75 Projekte sind selten von ihrer Umgebung losgel st Ein OEM Projekt hat mit internen und externen Lieferanten zu tun und ein Lieferant hat oft mit Vorlieferanten und zumindest einem Auftraggeber zu tun Selbst innerhalb eines einzelnen OEM gibt es F lle in denen eine Abteilung ein Lieferant f r eine andere Abteilung ist Daher ist es notwendig Kommunikationsstrukturen aufzubauen die die Grenzen eines Projektteams berschreiten Der Lieferant muss zeitnah ber nderungen der Anforderungen informiert werden Zeitnah bedeutet dass der Lieferant in der Lage ist die nderungen zu implementieren aber auch die nderungen hinreichend zu testen wie es mit dem Auftraggeber vereinbart ist Bei einer Teillieferung A B Muster etc muss es f r den Auftraggeber klar sein welche Funktionalit t eingeschlossen ist welche offenen Abweichungen noch bestehen un
114. im Laufe des Prozesses mit neuen Aktivit ten begonnen wird Aktivit ten pl tzlich nicht mehr relevant sind oder anders ausgef hrt werden als vorgeschrieben ist Die berwachung der Ausf hrung der Aktivit ten ist notwendig um sicherzustellen dass der Testprozess vollst ndig und sachgem durchgef hrt wurde Neben der berwachung ist auch eine Anpassung erforderlich Je nach den Projekteigenschaften und den erwarteten Risiken erfolgt dies entweder durch Anpassung der Planung oder durch Anpassung der Aktivit ten die ausgef hrt werden sollen Kontrollpunkte 18 B 1 Es findet eine berwachung der Ausf hrung aller geplanten Aktivit ten statt 18 B 2 Es findet au erdem eine zeitliche und finanzielle berwachung einer jeden Aktivit t statt 18 B 3 Bei Abweichungen werden Anpassungen durchgef hrt entweder indem man die Planung anpasst oder indem man erneut die Aktivit ten wie geplant durchf hrt Die Anpassungen werden fundiert begr ndet 18 B 4 Bei Abweichungen wird korrigierend eingegriffen indem entweder die Pl ne angepasst oder die Aktivit ten doch noch gem Plan ausgef hrt werden Der Eingriff wird begr ndet Abh ngigkeiten Keine Optimierungsvorschl ge nderungen und m gliche Anpassungen k nnen in einer neuen Version des Testplans oder in Projektberichten festgelegt werden Sorgen Sie f r eine Genehmigung der Abweichungen und der Anpassungen durch den Auftraggeber des Tests Sorgen Sie
115. immt werden Ein wesentlicher Aspekt hierbei ist das Wachstum der Funktionalit t in Bezug auf die anf ngliche Planung H ufig steigt die Funktionalit t eines Systems w hrend der Implementierungs und Testphase noch erheblich was vielfach an einem st ndigen Strom an nderungsvorschl gen sichtbar ist Lassen Sie diese Metriken von der f r das Testen zust ndigen Abteilung innerhalb der Linienorganisation verwalten und eine periodische Analyse der Metriken ausf hren wobei nach den Kosten Nutzen Kennziffern gesucht wird Welche Systeme hatten viele Probleme in der Produktion welche weniger Welche Beziehung kann zu den ausgef hrten Tests hergestellt werden welche mit der Entwicklungsmethode nach der vorgegangen wurde usw Sorgen Sie daf r dass auf der Grundlage der oben genannten Informationen Verbesserungsma nahmen vorgeschlagen und implementiert werden Sogeti Deutschland GmbH Version 1 01 28 03 06 34 5 TESTSPEZIFIKATIONSTECHNIKEN Folgende Definition wird verwendet Eine Testspezifikationstechnik ist eine standardisierte Methode zum Ableiten von Testf llen aus Ausgangsinformationen Durch Anwendung solcher Techniken ist folgendes m glich Der Teststrategie kann eine fundierte Bedeutung gegeben werden das hei t die richtige Abdeckung an der richtigen Stelle Fehler k nnen effektiver aufgesp rt werden anstatt auf gut Gl ck Testf lle zu spezifizieren Informationen ber die Qualit t und
116. in Gro teil der Abweichungen auf einen Teil der Funktionsbeschreibungen bezieht oder dass die Abweichungen sich haupts chlich auf einen speziellen Teil des Systems konzentrieren Sogeti Deutschland GmbH Version 1 01 28 03 06 86 Diese Informationen k nnen wiederum dazu verwendet werden rechtzeitig einzugreifen und entsprechende Ma nahmen zu treffen Kontrollpunkte 16 B 1 F r die sp teren Trendanalysen werden die Daten der Abweichung umfassend erfasst Testfall Teststufe Systemteil Priorit t testblockierend Y N Testbasis Version Ursache vermutlich definitiv alle Status berg nge der Abweichung einschlie lich Daten eine Beschreibung der Probleml sung Version des Testobjekts in der die Abweichung gel st wird Probleml ser Testkonfiguration 16 B 2 Die Verwaltung eignet sich f r umfassende Berichterstattungsm glichkeiten bersichten k nnen auf unterschiedliche Weise ausgew hlt und sortiert werden 16 B 3 Eine Person ist daf r zust ndig dass die Dokumentation der Abweichungen korrekt und konsequent durchgef hrt wird 16 B 4 Es findet eine Synchronisation zwischen den Systemen zur Dokumentation der Abweichungen auf Seiten des Lieferanten und auf Seiten des Auftraggebers statt z B Workflow Status der Abweichungen Attribute Zeit f r die Synchronisation Dies bedeutet dass zumindest offene Abweichungen die vom Lieferanten entdeckt wurden zum Zeitpunkt einer Teil Lieferung in das
117. ind f r einen gut verlaufenden Testprozess von wesentlicher Bedeutung sowohl zur Abstimmung der richtigen Voraussetzungen und der Teststrategie als auch zur Kommunikation ber den Fortschritt und die Qualit t 14 A Interne Kommunikation Beschreibung Eine gute Kommunikation zwischen den Teilnehmern am Testteam ist sowohl f r ein gutes gegenseitiges Einvernehmen als auch f r Motivation und gegenseitiges Verst ndnis wichtig Kommunikation f hrt auch zu einer fr heren Identifizierung von anstehenden Problemen so dass entsprechende Ma nahmen rechtzeitig getroffen werden k nnen In kleinen Teams ist die Kommunikation meist in recht informeller Weise organisiert Auch in solchen kleinen Teams ist es wichtig dass getroffene Entscheidungen dokumentiert werden Ein periodisches Treffen mit eher offiziellem Charakter ist notwendig um ein Instrument zur Beurteilung der bisherigen Prozesse an der Hand zu haben Die Frequenz dieser Meetings wird recht gering sein Kontrollpunkte 14 A 1 Innerhalb des Testteams und innerhalb des Entwicklungsteams finden regelm ig Besprechungen statt Diese Besprechungen haben eine feststehende Agenda und richten sich vornehmlich auf den Fortschritt Durchlaufzeit und eingesetzte Arbeitsstunden und die Qualit t des zu testenden Objekts Die Ergebnisse dieser Besprechung werden durch Notizen Protokolle oder eine Statusliste dokumentiert 14 A 2 Jedes Teammitglied nimmt regelm ig an diesen Besprechungen te
118. ines Tests Systemzustand und globale Daten wieder herzustellen was einen schnellen Start aller Tests und Nachtests erm glicht Die Testumgebung sollte so zusammengestellt und repr sentativ sein wie es die Ziele der jeweiligen Teststufe erfordern W hrend fr herer Teststufen typischerweise Integrations und Systemtests muss die Testumgebung in Bezug auf die sp tere Einsatzumgebung nicht besonders repr sentativ zu sein Sie sollte jedoch hinreichend M glichkeiten bieten detailliert das Systemverhalten zu erfassen und alle Anomalien zu analysieren In sp teren Testphasen wenn Abweichungen eher die Ausnahme als die Regel sein sollten fokussiert sich die Zusammenstellung der Testumgebung mehr darauf der sp teren Einsatzumgebung m glichst genau zu entsprechen Dies bedeutet oft dass Simulatoren und Tools die mit dem echten Systemverhalten in Konflikt stehen k nnten nicht mehr erlaubt sind Kontrollpunkte 9 A 1 Anpassungen bzw Freigaben an der Testumgebung oder der Testobjekte sind nur mit Genehmigung des Testmanagers erlaubt 9 A 2 Die Umgebung ist rechtzeitig eingerichtet Dies kann auch bedeuten dass das Testobjekt rechtzeitig bereitgestellt werden muss wenn das Testobjekt einen Teil der Testumgebung darstellt Im Fall einer eigens entwickelten bzw erstellten Testumgebung z B Stubkomponenten etc muss ein fr hzeitiger Start von Design Beschaffung Installation und Konfiguration geplant werden 9 A 3 Die
119. integriert F amp E auf dem Testgebiet erfordert ein hohes Engagement aller Beteiligten Testprozessmanagement Ebene C Uberwachung und Anpassung in der Organisation Eine Voraussetzung f r die Aktualisierung und Innovation des generischen Modells ist dass dieses Modell auch tats chlich in richtiger Weise eingesetzt wird Das erfordert eine entsprechende berwachung Optimierungsvorschl ge Sorgen Sie daf r dass die Linienabteilung Testen berpr fungs und Abschlussbesprechungen mit Mitarbeitern aus jedem Testprojekt f hrt in denen das organisationsweite Testmodell er rtert und bewertet wird Stellen Sie regelm ig beispielsweise halb j hrlich einen Plan f r die aufzunehmenden Punkte f r Aktualisierung und Innovation auf Beanspruchen Sie entsprechende Ressourcen f r die Ausf hrung dieses Plans und berwachen Sie die Ausf hrung Sorgen Sie daf r dass die Produkte der Aktualisierung und Innovation im generischen Modell verarbeitet werden und setzen Sie die Organisation von den Anpassungen in Kenntnis Sogeti Deutschland GmbH Version 1 01 28 03 06 73 Sogeti Deutschland GmbH Version 1 01 28 03 06 74 14 KOMMUNIKATION In einem Testprozess muss auf alle m glichen Arten eine Kommunikation mit den verschiedenen Beteiligten stattfinden sowohl innerhalb des Testteams als auch mit anderen Parteien beispielsweise dem Entwickler dem Anwender und dem Auftraggeber Diese Kommunikationsformen s
120. is ist all diejenige Dokumentation gemeint die zur Ableitung von Testf llen verwendet wird oder verwendet werden kann Mit Anforderungen sind die Kundenanforderungen Systemanforderungen und oder das Softwaredesign gemeint In der modellbasierten Entwicklung wird das Modell oft als Ersatz f r das Softwaredesign verwendet Wird es als Softwaredesign verwendet stellt das Modell einen Teil der Testbasis dar und wird verwendet um Testf lle abzuleiten Wenn das Modell auf Basis des Softwaredesigns entwickelt wird und nicht als eigenst ndiges Model dann wird das Modell selbst zum Testobjekt Das Startniveau ist charakterisiert durch den Start der Aktivit t Testen Diese Aktivit t beginnt unmittelbar vor oder nach dem Moment wenn die Testdurchf hrung starten sollte blicherweise der Auslieferungszeitpunkt f r die Software 3 A Fertigstellung der Testbasis Beschreibung Ein rechtzeitiger Beginn sorgt daf r dass die Testf lle vorbereitet werden k nnen bevor das System zum Testen freigegeben wird Zu diesem Zeitpunkt befindet sich das Testen meistens auf dem kritischen Pfad des Projekts Da die Tests nur noch ausgef hrt zu werden brauchen sie sind bereits entwickelt worden wird die Durchlaufzeit des Testens auf dem kritischen Pfad der gesamten Systementwicklung so kurz wie m glich gehalten Kontrollpunkte 3 A 1 Die Aktivit t Testen beginnt entweder zur gleichen Zeit oder fr her als die Fertigstellung de
121. isikobasierte Teststrategie bestimmt Bei der Formulierung dieser Strategie wird deutlich dass die neue Version keine neue Software ist sondern eine neu parametrisierte Version der bestehenden Software Diese Information f hrt zu der Schlussfolgerung dass Risiken aus nderung des Programmcodes nicht existieren und somit keine Low Level Tests erforderlich sind In diesem Fall kann sich die Risikoabsch tzung darauf beschr nken dahingehend zu analysieren welche Anforderungen in Bezug zu den Parametereinstellungen stehen und f r welche Anforderungen ein Regressionstest erforderlich ist Diese Analyse spart viel Zeit und M he und erm glicht es sich auf die Risiken zu konzentrieren die man tats chlich noch abdecken muss Kontrollpunkte 1 A 1 Es findet eine fundierte Risiko berlegung statt Typische Risikokategorien die es zu berpr fen gilt sind technische Risiken eine FMEA Einflussanalyse kann hierzu als Grundlage dienen organisatorische Risiken die mit der Entwicklung und dem Test in Zusammenhang stehen der operative Einsatz des Produkts politische und vertragliche Risiken sowie Haftungsfragen 1 A 2 Diese berlegung beinhaltet zumindest die folgenden Aspekte Regressionstests nicht modifizierter Komponenten der Software sind ein Teil dieser Strategie sofern das Testobjekt ein Update oder ein neues Release bestehender Software darstellt Software wird oft parametrisiert z B auf Grund l nderspezifischer Gesetze I
122. it t und dem zeitlichen oder finanziellen Aufwand der daf r notwendig ist gefunden wird Eine Optimierung findet mit dem Ziel statt die verf gbaren Ressourcen richtig ber die auszuf hrenden Testaktivit ten zu verteilen Kontrollpunkte 20 C 1 Es findet unter Beteiligung des Auftraggebers eine bewusste Risikoabw gung statt wof r es Kenntnisse sowohl des Systems als auch seiner Anwendung und Verwaltung bedarf 20 C 2 Es findet eine Differenzierung in Betrachtungsbereich und Tiefe des Tests statt die von den eingegangenen Risiken und falls vorhanden von den Akzeptanzkriterien abh ngig ist Nicht alle Zwischenprodukte und Qualit tsmerkmale werden gleich intensiv getestet 20 C 3 Entsprechend der gew nschten Testtiefe werden eine oder mehrere formale oder nicht formale Testspezifikationstechniken verwendet 20 C 4 Auch bei Regressionstests findet eine einfache aber fundierte Strategiebestimmung statt bei der zwischen den Varianten nur neue Komponenten testen und vollst ndig neu testen gew hlt wird 20 C 5 Die Strategie wird aufgestellt und danach auch ausgef hrt Dass die Durchf hrung der Tests gem Strategie stattfindet wird berwacht Falls erforderlich erfolgt eine Anpassung Abh ngigkeiten Keine Optimierungsvorschl ge Siehe die Anweisungen f r den Kernbereich Teststrategie Ebene A Teststrategie f r einzelne High Level Tests Es ist ohne Zweifel gut wenn Entwickler ihre
123. itung der Abweichungen Im Testplan oder Implementierungsplan festgelegt Bestimmung der Planung Aufstellen der allgemeinen Planung Im Testplan oder Implementierungsplan festgelegt Festlegung des Testplans Bestimmung der Risiken Gefahren und Im Testplan oder Implementierungsplan Ma nahmen festgelegt Festschreiben des Sogeti Deutschland GmbH Version 1 01 28 03 06 103 Testplans Festlegung Testplan Genehmigung Auftraggeber F r die Spezifikationsphase Aktivit t Teilaktivit ten Aspekte Produkt Aufstellen der Testf lle logisch und Testf lle Testspezifikationen und konkret finiti skripte P nn Definition der Ausgangsdateien Ausgangsdateien Startbedingungen f r Startbedingungen f r die Ausf hrung von die Ausf hrung von Testf llen TeStallen Testskripte Testskripte F r die Durchf hrungsphase Aktivit t Teilaktivit ten Aspekte Produkt Durchf hrung Durchf hrung Testskripte Dokumentation der Regressions Tests Durchf hrung von Abweichungen statischen Tests einschl Testberichte Beurteilung der Testergebnisse und Analyse der Abweichungen Erstellen von Codemetriken Abh ngigkeiten Keine Optimierungsvorschl ge Der rechtzeitige Beginn der Testvorbereitung f r die Low Level Tests muss so schnell wie m glich zur normalen Arbeitsweise werden
124. jedes Qualit tsmerkmal gleich intensiv getestet Wenn die Funktionalit t inkrementell bereitgestellt wird z B A Muster B Muster etc muss f r jedes Inkrement eine klare Entscheidung getroffen werden was getestet werden soll und welche Regressionstests durchgef hrt werden m ssen 1 A 5 Es werden eine oder mehrere Testspezifikationstechniken angewandt abh ngig von der jeweilig gew nschten Tiefe des Tests 1 A 6 F r erneute Tests findet ebenfalls eine einfache Strategiebestimmung statt wobei eine fundierte Auswahl zwischen den M glichkeiten nur L sungen testen und vollst ndigem Regressionstest getroffen wird Abh ngigkeiten Testspezifikationstechniken Ebene A nicht formale Techniken Testspezifikationstechniken sind erforderlich um die Wahl zwischen einem leichteren oder einem schwierigeren Test zu konkretisieren Engagement und Motivation Ebene A Zuweisung von Budget und Zeit Mit dem Auftraggeber des Tests muss die Strategie gesprochen werden k nnen da diese stark im Zusammenhang mit den erforderlichen zeitlichen und finanziellen Mitteln steht Optimierungsvorschl ge Beziehen Sie die verschiedenen Beteiligten wie Auftraggeber Systemadministratoren und Projektmanager bei der Bestimmung der Teststrategie ein Schaffen Sie Bewusstsein indem Sie die Risiken bei der heutigen Arbeitsweise angeben oder schlagen Sie vor wie das Testen kosteng nstiger bzw schneller verlaufen kann Wenn
125. jedoch ebenfalls eine Grundlage f r eine weitere Begr ndung H ufig stellen sich die Erwartungen als viel zu hoch heraus brigens kann der Vergleich auch f r normale Tests an Stelle von Regressionstests durchgef hrt werden Ber cksichtigen Sie auf jeden Fall dass die erste Testdurchf hrung in der Regel zweimal solange dauert wie ein Regressionstest und dass nicht alle Tests einen Regressionstest zur Folge haben werden berwachen Sie die Kosten und Nutzen in regelm igen Zeitabst nden wobei angegeben wird ob der Break Even Point bereits erreicht worden ist oder nicht Sorgen Sie daf r dass Wissen und Erfahrung in Bezug auf das automatisierte Testen gesammelt und verf gbar gemacht werden Die Einrichtung einer Linienabteilung Testen vereinfacht dies Sogeti Deutschland GmbH Version 1 01 28 03 06 51 8 C Optimale Testautomatisierung Beschreibung Man ist sich dessen bewusst dass Testautomatisierung f r alle Testphasen und aktivit ten eine n tzliche Unterst tzung bedeuten kann Dazu wird auf strukturelle Weise untersucht wo Testautomatisierung einen weiteren Gewinn f r den Testprozess bedeuten kann Das gesamte automatisierte Testen wird periodisch beurteilt Kontrollpunkte 8 C 1 Es wird eine wohl berlegte Entscheidung getroffen welche Komponenten des Testprozesses zu automatisieren sind Bei dieser Entscheidung werden alle m glichen Arten von Testtools und Testaktivit ten hinzugezogen 8 C 2 Es
126. ken Wichtig hierbei ist inwieweit Sie einen Einblick ber Tiefe und Vollst ndigkeit der einzelnen Tests erhalten k nnen Stellen Sie hierbei m gliche Risiken fest Sogeti Deutschland GmbH Version 1 01 28 03 06 15 H ufig beginnt die Verbesserung eines Testprozesses bei einer bestimmten Teststufe und es gibt noch keine Abstimmung mit anderen Teststufen Legen Sie in einem solchen Fall bei der Strategiebestimmung der jeweiligen Teststufe fest was die Erwartungen an die anderen Tests sind Was bewirken diese Tests im Bereich der Testabdeckung Versuchen Sie offensichtliche L cher oder doppelte Tests aufzudecken und diese zur Diskussion zu stellen F hren Sie die Rolle eines Test Koordinators ein dessen Aufgabe es ist die verschiedenen Teststufen zu koordinieren diese in einen Mastertestplan aufzunehmen und die Koordination zu berwachen Der Testkoordinator berichtet an den Projektmanager und den Auftraggeber des Tests Um einen Interessenkonflikt zu vermeiden sollte der Testkoordinator von den zust ndigen Gruppen f r die verschiedenen Teststufen unabh ngig sein Pr fen Sie ob es sinnvoll ist eine Eingangskontrolle durchzuf hren in der die Testware einer bestimmten Teststufe von einer anderen Partei auf Vollst ndigkeit und Korrektheit berpr ft wird So wird z B die Software eines Steuerger ts ECU electronic control unit zusammen mit dem Testplan den Testf llen einschlie lich der Protokolldateien
127. l der gefundenen Fehler im Test Anzahl der vorhandenen Fehler nach Produktivstart und die Effizienz der Fehlersuche Anzahl der Fehler im Test Anzahl der Teststunden festzuhalten Diese Zahlen k nnen je Projekt bzw System verglichen werden Sorgen Sie daf r dass die f r das Testen zust ndige Abteilung innerhalb der Linienorganisation bzw die Wartungsorganisation die Metriken auf zentraler Ebene verwaltet Jedes Projekt bertr gt die aufgebauten Metriken an diese Linienabteilung Die Wartungsorganisation bzw Linienabteilung Testen beurteilt die Effektivit t und Effizienz der Testprozesse Sogeti Deutschland GmbH Version 1 01 28 03 06 45 7 D Organisationsmetriken gt 1 System Beschreibung Das eine System verf gt ber eine bessere Qualit t als das andere Indem miteinander vergleichbare Metriken eingesetzt werden k nnen die besseren Systeme erkannt und die Unterschiede analysiert werden Diese Erkenntnisse k nnen f r eine weitere Prozessoptimierung verwendet werden Kontrollpunkte 7 D 1 Es werden in der gesamten Organisation miteinander vergleichbare Metriken f r die bereits genannten Daten gef hrt 7 D 2 Die Metriken werden bei der Beurteilung der Effektivit t und Effizienz der einzelnen Testprozesse eingesetzt um zu einer Optimierung der generischen Testmethode und k nftiger Testprozesse zu gelangen Abh ngigkeiten Keine Optimierungsvorschl ge Die Testabteilung die f r das Testen v
128. lden sind erf llt worden Teststrategie Phasenmodel Kommunikation Berichterstattung Dokumentation der Abweisungen und Testware Management Abh ngigkeiten Testware Management Ebene B Externes Management von Testbasis und Testobjekt Dokumentation der Abweichungen Ebene B Umfangreiche Dokumentation der Abweichungen mit flexiblen Berichterstattungsm glichkeiten Kommunikation Ebene B Projektkommunikation Berichterstattung Ebene B Fortschritt Aktivit ten Abweichungen mit Priorit ten Teststrategie Ebene B Kombinierte Strategie f r High Level Tests Nur wenn der Testprozess die vorgenannten Ebenen erf llt sprechen wir von einer Methodik Optimierungsvorschl ge Erkl ren Sie Kommunikation Berichterstattung Management von Abweichungen und von Testware zu einem Standardbestandteil von Vertr gen oder Arbeitsvereinbarungen zwischen Auftraggeber und Lieferant Verkn pfen Sie die Eingangs und Ausgangskriterien mit geforderten Informationen wie z B offene und behobene Abweichungen Sogeti Deutschland GmbH Version 1 01 28 03 06 71 13 C Organisationsgenerisch Beschreibung Die Beschreibung einer Projektmethodik ist ein guter Ausgangspunkt f r eine organisationsweite Einf hrung einer Standardmethodologie Jedes neue Testprojekt kann dann diese Methodologie bernehmen Da sich Testprojekte meist recht hnlich sind kann eine gemeinsame Toolsammlung verwendet werden um den Testprozess zu u
129. le etc Versehen Sie jede eingesetzte Pr fungstechnik mit einem solchen Mini Phasenmodell in dem beschrieben ist was wann von wem durchzuf hren ist Ein Problem bei formalen Inspektionen ist dass wiederholte Inspektionen h ufig f r zu teuer gehalten werden Es muss vermieden werden dass die Korrekturarbeiten dann berhaupt nicht kontrolliert werden Es ist in einem solchen Fall besser die Neuinspektion in vereinfachter Weise ausf hren zu lassen Sogeti Deutschland GmbH Version 1 01 28 03 06 99 19 C Pr fungsstrategie Beschreibung Genauso wie die Teststrategie ist eine Pr fungsstrategie sehr wichtig einerseits um den Aufwand optimal einzusetzen und andererseits zur Kommunikation mit dem Auftraggeber Mit einer Strategiebestimmung wird analysiert was wo und wie intensiv gepr ft werden muss um das optimale Gleichgewicht zwischen dem gew nschten Einblick in die Qualit t sowie der erforderlichen Zeit und dem ben tigten Geld zu erhalten Die Optimierung findet mit dem Ziel statt die verf gbaren Ressourcen richtig ber die auszuf hrenden Aktivit ten zu verteilen Kontrollpunkte 19 C 1 Es findet eine bewusste Risikoabw gung statt 19 C 2 Es findet eine Differenzierung in Betrachtungsbereich und in der Tiefe der Pr fung statt die von den eingegangenen Risiken und falls vorhanden von den Akzeptanzkriterien abh ngig ist Nicht alle Zwischenprodukte und Qualit tsmerkmale werden gleich intensiv
130. lm hliche und schrittweise Optimierung durchgef hrt werden kann Das TPI Automotive Modell hilft bei der Bestimmung der Optimierungsma nahmen Die Ebenen der Kernbereiche und die TPI Matrix bieten eine Reihe von M glichkeiten um Optimierungsschritte festzulegen Abh ngig von den Zielen dem Betrachtungsbereich der Durchlaufzeit und den Ergebnissen der Analyse kann entschieden werden ob man ein oder mehrere Kernbereich e optimiert Bei jedem einzelnen ausgew hlten Kernbereich kann man sich ferner daf r entscheiden in die n chste Ebene oder in Sonderf llen sogar in eine darauf folgende n chsth here Ebene zu wechseln Au erdem liefert das TPI Automotive Modell eine Vielzahl an Optimierungsvorschl gen die dabei helfen die gew nschten h heren Ebenen zu erreichen Aufstellen des Plans Ein Plan wird formuliert um Verbindlichkeit und Engagement aller Beteiligten f r die zu implementierenden Aktivit ten zu erhalten Der Plan beinhaltet Zielsetzungen und Planungsaktivit ten um die Zielsetzungen zu erreichen Der Plan bezieht sich sowohl auf die inhaltlichen Aktivit ten zur Optimierung des Testprozesses als auch auf die Aktivit ten die erforderlich sind um den nderungsprozess in die richtige Bahn zu lenken Sogeti Deutschland GmbH Version 1 01 28 03 06 7 Implementierung von Optimierungsma nahmen Der Plan wird ausgef hrt Die Widerst nde die zweifelsohne vorhanden sind m ssen offen gelegt und besprochen werd
131. m zugewiesen wurden Das Team kann auf Wissen zugreifen das in Expertengruppen aufgebaut wurde die sich einem speziellen Thema widmen z B automatisierte Tests HiL Tests usw 11 A 5 Die Testarbeiten werden von den meisten Teilnehmern in Vollzeit ausgef hrt also bestehen kaum Konflikte mit anderen Aufgaben Sogeti Deutschland GmbH Version 1 01 28 03 06 60 11 A 6 Es gibt klar abgegrenzte Verbindungen zwischen den Testern und anderen Bereichen in Projekt und Organisation Abh ngigkeiten Keine Optimierungsvorschl ge Dokumentieren Sie die im Einsatz oder in sp ten Tests Abnahmetest auftretenden Probleme Welches sind die Folgen von unzureichenden Testaktivit ten und welches sind die Organisations Kosten die nach dem Produktionsstart durch die Entdeckung und Beseitigung von Fehlern entstehen berpr fen Sie welche Fehler man fr her h tte finden k nnen Halten Sie Vortr ge Seminare usw um das erforderliche Bewusstsein zu schaffen Listen Sie die m glichen Vorteile einer Testabteilung auf und bestimmen Sie welche Dienstleistungen diese Abteilung anbieten kann Sorgen Sie f r Schulungen im Bereich des Testens aber auch auf dem Gebiet von sozialen F higkeiten Systementwicklung Fachwissen usw Arbeiten Sie so schnell wie m glich mit einem Phasenmodell und einer Planung f r das Testen Damit kann der Aufwand optimiert und k nnen Konflikte mit dem Projekt und dem Linienmanagement ver
132. mieden werden da der erforderliche Einsatz von Mitarbeitern bereits in einem fr hen Stadium bekannt ist 11 B Testen in Projektorganisation integriert Beschreibung Ein professionell eingerichteter Testprozess ist besser kontrollierbar und vorhersehbar Bei einer m glichen berschreitung zeitlich oder finanziell in der Planung besteht mehr Einsicht in die Ursache so dass entsprechende Ma nahmen getroffen werden k nnen Ferner besteht eine bessere Kommunikation zwischen den Testern und den brigen im Projekt beteiligten Gruppen so dass die einzelnen Gruppen bez glich der Planung besser aufeinander abgestimmt sind Dadurch kann der Gesamtprozess effizienter eingerichtet werden Da die Produktivit t von Mitarbeitern in unmittelbarem Zusammenhang mit ihrer Motivation steht ist es wichtig diese so gut wie m glich zu motivieren Ein gut kontrollierter Testprozess erm glicht den Mitarbeitern einen guten Einblick auf den aktuellen Projektstatus und zeigt auf was in der nahen Zukunft von ihnen erwartet wird Falls der Testprozess schlecht funktioniert sinkt auch die Motivation Die Anerkennung des Testens durch andere Gruppen sowie Aufstiegsm glichkeiten f r Tester sind weitere motivierende Faktoren Beispiel Ein hochmotivierter und sehr enthusiastischer Tester der erfolgreich automatisiertes Testen in drei aufeinander folgenden Projekten implementiert hat wird zum Testmanager bef rdert Diese sogenannte Bef rderung bedeutet nic
133. mit ein weil Software Process Improvement projekt bergreifend ist u a auch die Wartung Sorgen Sie daf r dass die Linienabteilung die Empfehlungen und Ma nahmen koordiniert und berwacht Sogeti Deutschland GmbH Version 1 01 28 03 06 84 16 DOKUMENTATION DER ABWEICHUNGEN Obwohl das Fehlermanagement Aufgabe der Projektleitung und nicht der Tester ist sind die Tester am meisten darin involviert Gutes Fehlermanagement sollte den Lebenszyklus eines Fehlers von der Erkennung eines Fehlers ber dessen Behebung bis zur Dokumentation der Fehlerbehebung berwachen und nebenbei statistische Daten liefern Diese Daten k nnen genutzt werden um z B fundierte Qualit tsaussagen zu machen Dokumentation der Abweichungen Ebene A 16 A Interne Dokumentation der Abweichungen Beschreibung Die Speicherung der Abweichungen in einer Dokumentation hilft einerseits eine gute verwaltungsm ige Bearbeitung und berwachung zu erm glichen und andererseits stellt sie eine Informationsquelle zur Qualit t des Systems dar Die Bearbeitung und berwachung ist wichtig denn nur so kann vermieden werden dass Abweichungen unkorrigiert bleiben ohne dass die richtigen Personen dar ber entschieden haben Das bedeutet beispielsweise dass ein Entwickler niemals eine Abweichung als unberechtigt zur ckweisen darf ohne dass ein Dritter sie noch einmal berpr ft Um die Qualit t eines Systems einsch tzen zu k nnen ist es nicht nur intere
134. n das Testteam wiederholt mit solchen Problemen konfrontiert wird hat das einen negativen Einfluss auf die Motivation Eine weitgehende Automatisierung hat gerade bei guten Werkzeugen einen positiven Einfluss auf die Tester weil langweilige und sich wiederholende Arbeiten soweit wie m glich automatisiert sind Kontrollpunkte Sogeti Deutschland GmbH Version 1 01 28 03 06 63 11 C 1 Beim Entwurf und der Realisierung wird das Testteam mit einbezogen um eine optimale Testbarkeit des Systems zu erzielen design for test 11 C 2 Das Testteam verf gt ber ausreichende Kenntnisse und F higkeiten um dem vorgenannten Kontrollpunkt ausreichend Inhalt zu verleihen 11 C 3 Die Organisation bzw das Projekt geht mit den Empfehlungen des Testteams ernsthaft um 11 C 4 Das Management unterst tzt die Tester mit Personal und Mitteln und arbeitet st ndig an der Verbesserung des Testprozesses 11 C 5 Die Teilnahme am Testen wird als Bef rderung betrachtet Testen hat einen hohen Status 11 C 6 Der Entwicklungsprozess ist ausreichend entwickelt berwacht werden mindestens die Aspekte Zeit und Qualit t 11 C 7 Testfunktionen werden auf Organisationsebene beschrieben einschlie lich der Karrierem glichkeiten und der Gehaltsordnung Abh ngigkeiten Teststrategie Ebene C kombinierte Strategie f r High Level Tests plus Low Level Tests oder Pr fungsstufen Zeitpunkt der Beteiligung Ebene C Aufstellen
135. n Lieferanten beschrieben Die Lieferanten brechen diese Anforderungen in detaillierte Software und Hardwareanforderungen herunter Diese Spezifikationen werden auf Basis dessen was in der risikobasierten Teststrategie beschrieben ist gepr ft In dieser formellen berpr fungsrunde ist der OEM direkt involviert Mit diesem Ansatz minimiert der OEM das Risiko dass das Steuerger t nicht geeignet ist um in ein ACC System integriert zu werden und dass das integrierte System noch immer schwerwiegende Defekte aufweist Low Level Tests und berpr fungsstufen beginnen fr her als High Level Tests Bei der Koordination muss man dies ber cksichtigen Kombinieren Sie die berpr fung der Testbasis siehe hierzu auch Kernbereich Einsatz des Phasenmodells Ebene B mit der berpr fung der Spezifikationen Tauschen Sie die Testware zwischen verschiedenen Teststufen untereinander aus z B zwischen Abnahmetest und Modultest Der Vorteil besteht darin dass bestimmte Tests nicht doppelt vorbereitet werden m ssen Achten Sie aber darauf dass dazu geneigt wird die eigenen Tests nicht vorzubereiten bzw auszuf hren sodass die Testware die Funktion von Spezifikationen bernimmt Wenn die Testf lle fehlerfrei durchgef hrt werden ist das System korrekt realisiert 1 D Kombinierte Strategie f r alle Test und Pr fungsstufen Beschreibung Diese Beschreibung ist die gleiche wie die der vorigen Ebene C In dieser Ebene findet jetzt a
136. n Produkts oder Merkmals zu ermitteln Sogeti Deutschland GmbH Version 1 01 28 03 06 100 F hren Sie schlie lich eine vollst ndige Strategiebestimmung durch Die zur Erstellung einer Teststrategie erforderlichen Schritte sind im Folgenden kurz beschrieben Bestimmung der Qualit tsmerkmale Im Einvernehmen mit allen Beteiligten werden die Qualit tsmerkmale festgelegt auf die sich die Pr fung konzentrieren soll W hrend des Pr fprozesses erfolgt eine regelm ige Berichterstattung ber die ausgew hlten Qualit tsmerkmale Bestimmung der relativen Bedeutung der Qualit tsmerkmale Auf der Grundlage der Ergebnisse des vorigen Schrittes wird angegeben wie der Pr fungsaufwand ber die ausgew hlten Qualit tsmerkmale zu verteilen ist wobei zun chst davon ausgegangen wird dass das Pr fen eines jeden Qualit tsmerkmals gleich arbeitsintensiv ist Unterteilung Zwischenprodukte oder Teilsysteme Das System wird bei diesem Schritt in Zwischenprodukte und falls erforderlich in weitere Teilsysteme unterteilt Die Einteilung ist hierbei im Prinzip die gleiche wie bei der Entwurfsdokumentation Wenn von der Einteilung abgewichen wird ist dies deutlich zu begr nden und zu beschreiben Bestimmung der relativen Bedeutung der Zwischenprodukte oder Teilsysteme Auf der Grundlage der Ergebnisse des vorigen Schrittes wird angegeben wie der Pr fungsaufwand ber die unterschiedlichen Zwischenprodukte oder Teilsysteme verteilt w
137. n Sie diese anschlie end Beispielsweise dauert die Spezifikation der Testf lle f r eine Funktion 4 Stunden bei 100 Funktionen sind also 400 Stunden erforderlich Addieren Sie hierzu gesch tzte 50 Stunden f r die anderen Aktivit ten in der Spezifikationsphase Infrastruktur und Sie erhalten 450 Stunden Eine weitere Extrapolation ist jetzt anhand der Standardverh ltnisse siehe voriger Punkt m glich Extrapolation der Ergebnisse eines Testpilotprojekts Umrechnung auf Prozents tze je Teststufe Modul Integrations System und Abnahmetest Erarbeiten Sie ein Verfahren wie ein Testkostenvoranschlag aufzustellen ist beispielsweise Anwendung von mindestens zwei Faustregeln Verwenden Sie die Ergebnisse anderer Projekte wo detaillierte Zahlen f r die geplanten und die verbrauchten Aufwendungen vorhanden sind Beurteilen Sie nach Beendigung des Projekts den Kostenvoranschlag sowie das Verfahren und passen Sie erforderlichenfalls das Verfahren an Treffen Sie bereits vorher entsprechende Vereinbarungen dar ber wie mit dem Anlernen mit Mehrarbeit und Wartezeiten umzugehen ist Ber cksichtigen Sie bei der Planung die erforderliche Zeit f r Ubertragung von der vorigen Phase beispielsweise von Systemtest auf Abnahmetest und Installation des Testobjekts Korrektur und erneute Tests Denken Sie daran Zeit Budget und Ressourcen f r die Tests von bisher nicht bekannten nderungen einzuplanen In der Pr
138. n Sie eine Beschreibung der Methodik in einem Handbuch oder einem Testplan fest oder verweisen Sie auf Literatur Dieser Schritt wird sich zum Teil aus der Sammlung von bestehendem Material zusammensetzen Sorgen Sie daf r dass ausreichende Testsachkenntnis vorhanden oder zu erwarten ist Ausbildungen um zu gew hrleisten dass tats chlich nach der beschriebenen Methodik vorgegangen werden kann 13 B Projektspezifisch mit externem Betrachtungsbereich Beschreibung Der Betrachtungsbereich eines Projekts besteht nicht nur aus der Arbeit die innerhalb des Testteams geleistet wird sondern auch aus allen Schnittstellen mit Lieferanten und oder Auftraggeber sowohl intern als auch extern Diese Schnittstellen m ssen formalisiert werden um die Informationen zu liefern die erforderlich sind um die in der Automobilindustrie geforderte Qualit t zu erreichen Die Methodik ist nur dann ausreichend wenn f r andere Kernbereiche ein gewisser Reifegrad erreicht ist Wenn die Kette von Lieferanten und Unterlieferanten mehr als zwei Organisationen umspannt m ssen die notwendigen Informationen f r diejenige am Ende der Kette durch einen Vertrag oder Arbeitsvereinbarungen erzwungen werden Ein Lieferant kann seine Schnittstellen mit seinem Vorlieferanten auf dieselbe Art und Weise Organisieren wie die Schnittstellen mit seinem Auftraggeber Kontrollpunkte 13 B 1 Die Abh ngigkeiten die die Schnittstellen zwischen Auftraggeber und Lieferanten bi
139. n Techniken gebildet die auf Mathematischen Prinzipien basiert Diese Kategorie l sst sich in zwei Hauptgruppen unterteilen Statistische Anwendungstests Formale Methoden Statistische Anwendungstests stellen eine Form des real life Testens dar wo eine Menge von Testf llen abgeleitet wird auf der Basis einer Analyse der zu erwartenden Tats chlichen Systemnutzung Die Menge der Testf lle muss statistisch repr sentativ sein Broekman and Notenboom 2003 Formale Methoden sind Methoden die auf mathematischer Modellierung Berechnung und Vorhersagen basieren Sie werden eingesetzt bei der Spezifikation dem Entwurf der Analyse der Erstellung und der berpr fung von Computersystemen und von Software Mit formalen Methoden kann eine formale Validierung durchgef hrt werden Formale Validierung ist der Prozess Vertrauen zu gewinnen dass die grundlegenden Top Level Spezifikationen der Anforderungen und Annahmen korrekt sind Formale Validierung besteht darin die formalen Spezifikationen herauszufordern indem man Theoreme aufstellt und versucht diese Theoreme zu beweisen die sich aus den Anforderungen und Annahmen ableiten lassen Formale Verifizierung ist der Prozess durch formale Deduktion zu zeigen dass eine Formale Entwurfspezifikation ihren formalen Anforderungsspezifikationen gen gt Die eingesetzten formalen Methoden h ngen von der Notationstechnik ab die verwendet wird um die Spezifikationen zu erstellen Daher
140. n erf llen Im Falle von Low Level Tests stellt die Einf hrung von Codepr fern und Abdeckungstools einen ersten Schritt dar einige Aufgaben innerhalb des Testprozesses zu automatisieren 8 B Beherrschung der Testautomatisierung Beschreibung Auf dieser Ebene wird erkannt dass die Implementierung der Einsatz sowie die Verwaltung von Testtools sorgf ltig betreut werden muss da die Wahrscheinlichkeit andernfalls gro ist dass sich die Investitionen in das Testtool nicht auszahlen Au erdem wurde festgestellt ob die automatisierte Testdurchf hrung realisierbar ist und die gew nschten Vorteile bietet Bei einer positiven Antwort ist diese Testautomatisierung auch zum Teil bereits realisiert Sogeti Deutschland GmbH Version 1 01 28 03 06 48 Beispiel Ein Testsequenzer wird bei einem gro en Automobillieferanten eingesetzt um Tests f r Steuerger te mit einer CAN Schnittstelle zu automatisieren Schon zu Beginn wird viel Aufmerksamkeit darauf verwendet diese Architektur wieder zu verwenden und sie so einfach wie m glich zu halten Der Kern des Sequenzers ist eine Access Datenbank die durch ein Makro mit dem Inhalt von Word Dokumenten gef llt werden kann Das Format von Testf llen wird durch einen bestimmten Funktionsaufruf mit seinen Parametern und der erwarteten Nachricht die vom Steuerger t zur ckkommt gebildet Im ersten Projekt gab es nur die M glichkeit jeweils eine Funktion zur Zeit aufzurufen In der neuen
141. n solchen F llen sollte es ein Teil der Teststrategie sein festzulegen ob und wie die unterschiedlichen Parametrisierungsm glichkeiten basierend auf den gesch tzten Risiken gestestet werden k nnen Die zu testende Software kann entweder aus kommerzieller Standardsoftware sog COTS commercial off the shelf wiederverwendeter Software dem Programmkern bzw komplett neuer Programmierung bestehen oder eine Kombination aus den genannten Beispielen sein Die Teststrategie muss die unterschiedlichen Risikoprofile von Standardsoftware wiederverwendeter Software dem Programmkern komplett neuer Programmierung oder eine Kombination davon ber cksichtigen Risiken werden ber cksichtigt die in Abh ngigkeiten der Produkte bezogen auf deren Hardware und Softwarebasiskonfiguration beruhen wie z B geforderte R ckw rtskompatibilit t oder Hardwarespr nge Sogeti Deutschland GmbH Version 1 01 28 03 06 12 1 A 3 Alle Interessengruppen des Produktes sind in den Prozess der Bestimmung der Teststrategie involviert Zumindest m ssen alle Betroffenen vor allem der Produktverantwortliche eingeladen werden die vorgeschlagene Teststrategie und ihren gegenw rtigen Status zu pr fen 1 A 4 Es erfolgt eine Differenzierung in der Tiefe der Tests abh ngig von den erkannten Risiken und falls vorhanden den Eingangs und Akzeptanzkriterien Es werden weder alle Teilsysteme Varianten und Versionen gleich intensiv getestet noch wird
142. n the Loop ist eine Testebene bei dem das Simulationsmodel eines Systems in einer dynamischen Testumgebung getestet wird Ein Tool das ein mathematisches Model in einem System entgegen spezifizierten Sogeti Deutschland GmbH Version 1 01 28 03 06 120 Output Output Werte Pr fen Qualit t ISO 8402 Qualit tsmerkmale Regressionstest Risiko Kernbereich Schnelles Prototyping Aufnahme Wiedergabe Tool SiL Simulation Simulator Software Korrekturanforderungen analysiert Ein Signal oder eine Variable die als Ausgabe einer Komponente erscheint Eine Gruppe von Ausgaben berpr fung und Inspektion der verschiedenen Zwischenprodukte im Entwicklungszyklus Qualit t ist die Gesamtheit von Merkmalen eines Produktes oder einer Dienstleistung bez glich ihrer Eignung festgelegte und vorausgesetzte Erfordernisse zu erf llen ISO 8402 1994 Die Eigenschaft eines Systems Einige Beispiele sind Richtigkeit Sicherheit Leistung und Benutzerfreundlichkeit Mit Regression wird das Ph nomen bezeichnet dass sich die Qualit t eines Systems infolge individueller Anpassungen verringern kann Ein Regressionstest zielt darauf ab zu kontrollieren ob alle Elemente eines Systems nach einer nderung noch korrekt funktionieren Generell definiert als den maximalen Verlust multipliziert mit der M glichkeit eines Fehlerauftretens Werden in ihrer Betrachtung durch das TPI Model aufgefang
143. nager oder von der Testabteilung verwendet werden beispielsweise f r eine weitere Testprozessoptimierung Sogeti Deutschland GmbH Version 1 01 28 03 06 69 13 REICHWEITE DER METHODIK Jeder Testprozess in der Organisation findet gem einer bestimmte Methode oder Vorgehensweise mit bestimmten Aktivit ten Verfahren Vorschriften Techniken usw statt Wenn diese Methoden stets projektabh ngig oder noch schlimmer von Personen abh ngig sind verliert man wertvolle Zeit um einen Testprozess f r ein neues Projekt zu etablieren Wenn die Methode ausreichend generisch ist und auch von anderen als nur den Projektmitgliedern verstanden wird k nne Testprozesse schnell organisiert werden Eine gut beschriebene Methodik erh ht die M glichkeit des Lernens und der Verbesserung Die Methodik muss hinreichend viele Informationen liefern um jeden Testprozess in der Organisation so zu organisieren dass aus projektspezifischen Gr nden nur kleine Erg nzungen zu der Methodik erforderlich sind Die Natur der Automobilindustrie macht es erforderlich dass die Methodik nicht nur Arbeitsweisen innerhalb des Testteams beschreibt Ein sehr wichtiger Teil ist der Umgang mit Lieferanten und oder dem Auftraggeber Dies gilt sowohl intern als auch extern 13 A Projektspezifisch Beschreibung Der Testprozess eine Auswahl von Aktivit ten Arbeitsabl ufen Anweisungen etc muss gut dokumentiert sein Die Qualit t des Testprozesses wird dadurch w
144. nd F higkeiten innerhalb des Testteams so gro dass der Testprozess als ein wesentlicher Faktor in der gesamten Systementwicklung betrachtet wird der fr hzeitig einbezogen werden muss Das Testen wird nicht nur als eine Suchma nahme sondern auch als Vorsorgema nahme gesehen Die zu entwickelnden oder zu wartenden Systeme werden immer komplexer und der Grad der Integration steigt Die Testbarkeit der Systeme steht dabei zunehmend unter Druck Indem man die Testbarkeit beim Entwurf und der Realisierung besser ber cksichtigt kann man diese stark erh hen so dass das Testen bei einem geringeren Aufwand mehr Gewissheit ber die Qualit t des Systems geben kann Wenn der Testprozess ein integraler und optimierender Teil des Entwicklungsprozesses ist dann kann ein Mangel an Qualit t so fr h wie m glich und zu geringsten Kosten im Gesamtprozess bemerkt oder sogar vermieden werden Der gesamte Entwicklungsprozess ist dadurch viel besser zu kontrollieren Ein optimaler Testprozess erfordert ein hochmotiviertes und ausgebildetes Personal Neben internen Ma nahmen zum Erreichen einer hohen Motivation bei Mitarbeitern spielen auch verschiedene externe Faktoren eine Rolle In einem gut eingerichteten Entwicklungsprozess werden Faktoren wie Zeit Geld und Qualit t berwacht Das verhindert dass Planungen wiederholt nicht eingehalten werden oder dass die Produkte wie Funktionsspezifikationen und Software eine unzureichende Qualit t aufweisen Wen
145. nd GmbH Version 1 01 28 03 06 59 11 ENGAGEMENT UND MOTIVATION Das Engagement und die Motivation der verschiedenen am Testprozess Beteiligten sind wichtige Voraussetzungen f r einen gut verlaufenden Testprozess Dazu geh ren nicht nur die Tester selbst sondern beispielsweise auch das Projektmanagement und das Linienmanagement Letztere sind insbesondere f r die Schaffung guter Voraussetzungen wichtig Der Testprozess erh lt auf diese Weise ausreichende zeitliche finanzielle und andere quantitative und qualitative Mittel um einen guten Test auszuf hren wobei die Zusammenarbeit und eine gute Kommunikation mit den restlichen Projektmitgliedern einen Gesamtprozess so effizient wie m glich machen Ein Merkmal der Startebene ist dass das Testen als ein notwendiges bel betrachtet wird Das Testteam setzt sich zum Gro teil aus Personen zusammen die auf Teilzeitbasis und aus anderen Bereichen Anwender Entwickler zugewiesen werden um im Testteam mitzuarbeiten Testen hat einen niedrigen Status und wird als berfl ssig und ineffizient betrachtet Die Tester verf gen nur ber eine geringe Motivation vieles wird pro forma getestet und man vertraut voll und ganz auf die Entwickler Von Testern gefundene Abweichungen werden nicht strukturell bearbeitet 11 A Zuweisung von Budget und Zeit Beschreibung Auf dieser Ebene ist sich das obere und das mittlere Management der Bedeutung des Testens bewusst Ferner ist man sich
146. ne Optimierungsvorschl ge Sorgen Sie daf r dass die verschiedenen Umgebungen gut verwaltet werden Diese Ebene stellt in der Tat h here Anforderungen an die Systembetreuung als an den Testprozess Ber cksichtigen Sie dies Sogeti Deutschland GmbH Version 1 01 28 03 06 57 10 B RO UND LABORAUSSTATTUNG Das Testpersonal ben tigt R ume Schreibtische St hle PCs Textverarbeitungsprogramme Drucker Telefone Verbindung mit entfernten Testeinrichtungen usw 10 A Ad quate und rechtzeitige Einrichtung der B ro und Laborausstattungen Beschreibung Eine gute und rechtzeitige Einrichtung der B roinfrastruktur hat zur Folge dass viele m gliche Effizienzverluste wie Umz ge Wartezeiten und unproduktive Stunden auf ein Minimum beschr nkt bleiben Ferner hat die Einrichtung von Arbeitspl tzen einen positiven Einfluss auf die Qualit t des Testprozesses Man denke in diesem Zusammenhang an die Qualit t sowohl der internen als auch der externen Kommunikation sowie an die Motivation und Produktivit t der beteiligten Personen Eine gute Daten Kommunikationsverbindung zu entfernten Testeinrichtungen ist notwendig um die M glichkeit zu schaffen Testergebnisse von Tests in Fahrzeugprototypen in der B roumgebung zu analysieren Von gro en Vorteil ist dass die B ro und Laborausstattung in der Zentrale besser als in verstreuten Laboren daf r geeignet ist Analysen und Fehlerbehebungen durchzuf hren Die Kommu
147. neering 1c 3c 8b 15c Formale interne Qualit tssicherung 13a Organisations optimierend F amp E Aktivit ten 11b 18c Organisations generisch Kommunikation ber die Qualit t der Testprozesse auf Organisations ebene 13c Sogeti Deutschland GmbH Version 1 01 28 03 06 115 Berichterstattung Aufdeckung der Abweichungen Risiken und Empfehlungen mit Abweichungen einschlie lich Empfehlungen SPI Software Priorit tenzuweisung anhand von Process und Berichterstattung Metriken 1a 5b Improvement ber Zeitaufwand und 7a 16b Abschnitt 1c 11c Io A 16a 18 Dokumentation der Interne Umfangreiche Dokumentation der Abweichung Dokumentation der Dokumentation der Abweichungen Abweichungen Abweichungen mit wird im gesamten flexiblen Projekt eingesetzt Berichterstattungs m glichkeiten Testware Management Internes Testware Externes Management bertragbare Management von Testbasis und Testware 5b Testobjekt Testprozess Planung und Planung Durchf hrung berwachung und Management Durchf hrung berwachung und Anpassung in der Anpassung Organisation 13c Phasenmodell f r White Box Techniken Low Level Low Level Tests Teststrategie Planung Spezifikation und Durchf hrung Integrationstests Identifizierte Teststrategie f r Strategische Integration als Integration 2b 3b Ann herung an separaten und Integration geplanten Prozess 12
148. nfigurationsverwaltung und oder zur Anforderungsverwaltung einzusetzen 17 B Externe Verwaltung der Testbasis und des Testobjekts und Zuordenbarkeit von Systemanforderungen zu Testf llen Beschreibung Um nderungen an Anforderungen Testf llen und der Konfiguration des Testobjekts nachzuhalten muss das Anforderungsmanagement zentralisiert werden Dies er ffnet die M glichkeit Anforderungen direkt zu Testf llen und zum Testobjekt in Beziehung zu setzen Ein kurzer berblick dar ber was auf Basis welcher Anforderungen mit welcher Version des Testobjekts getestet wird ist dann recht einfach nderungen an den Anforderungen lassen sich dann leicht den zugeh rigen Testf llen zuordnen Aus nderungen am Testobjekt lassen sich direkt die Testf lle ableiten die man braucht um diese nderungen zu testen Die Produkte der unterschiedlichen Phasen des Entwicklungszyklus stehen in gegenseitiger Beziehung zueinander Aus Systemanforderungen lassen sich Softwareanforderungen ableiten woraus sich wiederum das Softwaredesign ableiten l sst Testf lle werden aus der Testbasis erstellt die Systemanforderungen und oder die Softwareanforderungen und oder das Softwaredesign und auf dem Testobjekt ausgef hrt Software Benutzerhandbuch etc Ein gutes Management dieser Beziehungen bietet f r das Testen mehrere Vorteile Es bietet viel Einblick in die Qualit t und Tiefe des Tests da dokumentiert ist mit welchen Testf llen die Systema
149. nforderungen die Softwareanforderungen das Sogeti Deutschland GmbH Version 1 01 28 03 06 91 Softwaredesign und die Software selbst getestet wurden oder werden Dies reduziert das Risiko von L cken im Test Im Falle von nderungen an der Testbasis oder am Testobjekt l sst sich leicht zur ckverfolgen welche Testf lle angepasst oder erneut ausgef hrt werden m ssen Wenn es als Folge hohen Zeitdrucks nicht m glich ist alle geplanten Testf lle auszuf hren m ssen Testf lle gestrichen werden Da die Beziehungen zwischen Anforderungen Spezifikationen und der Software bekannt sind k nnen diejenigen Testf lle gestrichen werden f r die die zugrunde liegende Anforderung oder die Spezifikationen das geringste operative Risiko beinhaltet und es ist klar f r welche Anforderungen oder Spezifikationen weniger fundierte Aussagen ber die Qualit t gemacht werden Kontrollpunkte 17 B 1 Die Testbasis und das Testobjekt meistens Entwurf und Software werden vom Projekt nach einem vorgeschriebenen Verfahren mit den entsprechenden Schritten f r die Anlieferung Erfassung Archivierung und Benutzung verwaltet 17 B 2 Das Management umfasst die Beziehungen zwischen den verschiedenen Elementen Testbasis Testobjekt 17 B 3 Das Testteam wird rechtzeitig ber nderungen in der Testbasis oder im Testobjekt informiert Dies gilt auch f r Anpassungen an kommerzieller Standardsoftware oder selbstentwickelte Softwarekomp
150. ng Die bei der vorigen Ebene beschriebene Kontrolle der Testaktivit ten wird erweitert und formalisiert um zwei Ziele zu erreichen Vertrauen in die Qualit t des Testprozesses schaffen das ist gleichbedeutend mit der Einsicht dass Testen notwendig ist dies schafft ein gr eres Vertrauen in die Qualit t des getesteten Objekts Die Erm glichung einer st ndigen Verbesserung des Testprozesses Kontrollpunkte 12 C 1 Parallel zum Testplan wird ein interner Review Plan f r das Testen aufgestellt Sogeti Deutschland GmbH Version 1 01 28 03 06 68 12 C 2 Die mit dem Review der Tests beauftragte Person erf llt keine weiteren Aufgaben innerhalb des Testteams 12 C 3 Die Ergebnisse aus dem Review der Testaktivit ten fliesen in die Optimierung des Testprozesses mit ein 12 C 4 Die Person welche die Reviews durchf hrt verf gt ber ausreichende Kenntnisse und Erfahrungen im Bereich des Pr fens Abh ngigkeiten Reichweite der Methodik Ebene A projektspezifisch Das Pr fen beinhaltet dass der Testprozess beurteilt und berpr ft wird Diese Aufgabe ist nur sinnvoll wenn davon ausgegangen werden kann dass der Testprozess gem eines beschriebenen Prozesses durchgef hrt wird Optimierungsvorschl ge Sorgen Sie daf r dass die Rolle internen Pr fung von einem Mitarbeiter der Testabteilung ausgef hrt wird Achten Sie darauf dass die Ergebnisse der Pr fungen tats chlich entweder vom Testma
151. ng ber eine gute Detaillierung von Abweichungen f hren Deutliche Fehlerbeschreibungen ersparen eine Menge Sucharbeit und Kommunikation Sogeti Deutschland GmbH Version 1 01 28 03 06 71 Ber cksichtigen Sie bei der Veranschlagung der nderungen das Regressionstesten Das gleichzeitige Testen von einigen nderungen ist sehr viel kosteng nstiger als nacheinander durchgef hrte Einzeltests und der bergang in eine n chste Systementwicklungsphase dieser nderungen Das ist brigens ein wichtiges Argument um Gruppen von nderungen in Releases auszuliefern Sorgen Sie daf r dass bei der Veranschlagung von nderungen die oben genannten Aspekte ber cksichtigt werden dabei sind Kenntnisse ber eine fundierte Veranschlagung von Tests erforderlich Erm glichen Sie dass entweder der Test oder der Projektmanager die zusammenfassende Testberichterstattung in der Lenkungsgruppe bekannt macht 14 C Kommunikation ber die Qualit t der Testprozesse auf Organisationsebene Beschreibung Die Verbesserung von Testprozessen ist eine andauernde Aktivit t Die Organisation ist sich dar ber im Klaren dass ein gut eingerichteter Testprozess viel zur berwachung der Qualit t und der Kosten des Produkts beitr gt Die Einrichtung von Besprechungen auf Organisationsebene sorgt daf r dass die vorhandenen Kenntnisse zu allen betroffenen Personen gelangen und auf diese Weise in der Organisation verf gbar sind Das vereinfacht die Ei
152. ng Spezifikation und Durchf hrung Die Hauptaktivit t der Planungsphase ist die Erstellung eines Testplans In einem Testplan wird festgelegt wie von wem womit und wann die Testaktivit ten ausgef hrt werden sollen Die Spezifikationsphase hat das Ziel die Testf lle aufzustellen und die Testdurchf hrung vorzubereiten Ferner wird hier f r die Bereitstellung der Infrastruktur gesorgt Das Ziel der Durchf hrungsphase ist die Durchf hrung der spezifizierten Tests um Einblick in die Qualit t des Testobjekts zu erhalten Kontrollpunkte 2 A 1 F r den Test werden mindestens folgende Phasen unterschieden Planung Spezifikation und Durchf hrung Diese werden nacheinander ausgef hrt eventuell je Teilsystem Hierbei ist eine berlappung zwischen den Phasen m glich 2 A 2 Die in jeder Phase auszuf hrenden Aktivit ten werden nachfolgend genannt Jede Aktivit t ist mit Unteraktivit ten bzw Aspekten versehen die als zus tzliche Informationen zu verstehen sind und daher nicht obligatorisch sind Die Planungsphase Aktivit t Teilaktivit ten Aspekte Produkt Formulierung des Auftraggeber und Im Testplan festgelegt Auftrags nehmer Betrachtungsbereich Ziel Randbedingungen Ausgangspunkte Sogeti Deutschland GmbH Version 1 01 28 03 06 21 Festlegen der Testbasis Bestimmen der relevanten Dokumentation wie z B Systemanforderungen Softwareanforde
153. nikationsstruktur vermeidet dass das gesamte Equipment mehrmals beschafft werden muss Kontrollpunkte 10 A 1 Die f r das Testen erforderliche B roinfrastruktur B ro Besprechungsr ume Telefone PCs Netzwerkanschl sse B rosoftware Drucker Kommunikationsverbindungen usw ist rechtzeitig bereitzustellen 10 A 2 Aspekte im Zusammenhang mit der B roeinrichtung haben eine m glichst geringe Auswirkung auf den Verlauf des Testprozesses also m glichst wenige Umz ge keine zu gro e Distanz zwischen Testern und den restlichen Projektbeteiligten USW 10 A 3 Die B ro und Laborausstattung die f r externe Tests zur Verf gung steht z B Testwerkzeuge Fahrzeugtests im Ausland hat eine durchdefinierte Verbindung zu der Zentrale Abh ngigkeiten Keiner Optimierungsvorschl ge Erkundigen Sie sich in einem m glichst fr hen Stadium nach den Lieferzeiten der verschiedenen erforderlichen Gegenst nde Sorgen Sie daf r dass m gliche Umz ge und dergleichen separat veranschlagt werden Wenn Tester in betr chtlicher Entfernung voneinander arbeiten m ssen wom glich zus tzliche Stunden f r Gemeinkosten veranschlagt werden Das verdeutlicht die Nachteile der gew hlten B ro und Laborausstattung Sogeti Deutschland GmbH Version 1 01 28 03 06 58 Ber cksichtigen Sie bei der Organisation entfernter Testeinrichtungen die Daten Kommunikationsinfrastruktur mit der Zentrale Sogeti Deutschla
154. nisation definiert 21 C 2 Jedes Projekt arbeitet nach diesem generischen Ansatz 21 C 3 Abweichungen von Standardvorgehen werden hinreichend begr ndet und dokumentiert Abh ngigkeiten Keine Optimierungsvorschl ge Dokumentieren Sie die Vorgehensweise im Handbuch oder beziehen Sie sich auf Literatur In regelm igen Intervallen z B halbj hrlich sollten Sie die Integrationsstrategie die Integrationsvorgehensweise und die verfolgte Strategie bewerten und bei Bedarf aktualisieren Legen Sie die Verantwortung die Prozeduren zu formulieren zu berwachen und zu pflegen in die H nde einer Linienabteilung Diese Abteilung sollte ber ein hinreichendes Ma an Testexpertise verf gen um diese Rolle auszuf llen Kontrollieren und steuern Sie die Implementierung des Innovationsleitungskreises Planung Initialisierung der Ressourcen Sogeti Deutschland GmbH Version 1 01 28 03 06 112 22 TESTREIFEMATRIX Kernbereich Teststrategie 2 Einsatz des Phasenmodells Zeitpunkt der Beteiligung Kostenvoranschlag und Planung Testspezifikations techniken 6l Statische Testtechniken Metriken 8 Testautomatisierung 9 Testumgebung 10 B ro und Laborausstattung 11 Engagement und Motivation 1 Testfunktionen und 12 be Training 13 Reichweite der Methodik 14 Kommunikation 15 Berichterstattung 16 Dokumentation der Abweichungen 17 Testware Management 18 Testprozessmanagement 19 Pr
155. nn Beziehen Sie die Lieferanten in die Optimierung des Testprozesses ein indem sie zu bestimmten Zeitpunkten w hrend des Projekts die Kooperation bewerten Wenn der Lieferant ein so genannter Hauslieferant ist sind noch st rker formalisierte Prozeduren zum Testen m glich Wenn gleichzeitig Software Process Improvement Initiativen durchgef hrt werden empfiehlt es sich einen dort beteiligten Mitarbeiter davon bei den Projektbesprechungen mit einzubeziehen so dass beide Optimierungsaktivit ten weiterhin parallel verlaufen Kleine Gruppen k nnen ein Netzwerk mit Testkollegen in anderen Abteilungen oder Unternehmen bilden um gegenseitig Informationen auszutauschen und voneinander zu lernen Sogeti Deutschland GmbH Version 1 01 28 03 06 79 15 _BERICHTERSTATTUNG Testen besch ftigt sich nicht nur mit dem Finden von Abweichungen sondern hat auch zum Ziel Einblick in die Qualit t des Produkts und die verbleibenden Risiken zum Produktivstart zu erhalten Daher ist die Berichterstattung das wesentlichste Produkt des Testprozesses Sie sollte fundierte Ratschl ge an den Auftraggeber zum Produkt und sogar zum Systementwicklungsprozess enthalten 15 A Abweichungen Beschreibung Die erste Ebene beinhaltet dass eine Berichterstattung berhaupt vorliegt In dieser Berichterstattung werden zumindest die Anzahl der gefundenen und die Anzahl der noch offen stehenden Abweichungen angegeben Das vermittelt einen ersten Eindru
156. nrichtung neuer Testprozesse mit neuen Mitarbeitern Kontrollpunkte 14 C 1 Besprechungen in denen Vorschl ge zur Verbesserung der eingesetzten Testmethodik und der Testprozesse besprochen werden finden regelm ig statt 14 C 2 Teilnehmer sind Vertreter des Testteams und der Linienabteilung Testen Abh ngigkeiten Reichweite der Methodik Ebene C Organisationsgenerisch Kommunikation auf Organisationsebene ber das Testen ist wenig sinnvoll wenn jeder Testprozess nach einem anderen Konzept stattfindet Eine generische Methodik ist daher Voraussetzung Optimierungsvorschl ge Ernennen Sie jemanden aus der f r das Testen verantwortlichen Linienabteilung als Organisator f r die periodischen Besprechungen Stellen Sie eine feste Agenda auf mit Aktionspunkten usw Beziehen Sie die Tester der verschiedenen Teststufen in die Besprechungen mit ein auch die Vertreter der Low Level Tests Beziehen Sie die Entwickler ad hoc in die Besprechungen mit ein berwachen Sie die korrekte Bearbeitung von Hinweisen und Optimierungsvorschl gen aus den verschiedenen Testprozessen Es ist nicht schlimm wenn ein Vorschlag nicht angenommen wird wohl jedoch wenn nie mehr darauf zur ckgekommen wird Sogeti Deutschland GmbH Version 1 01 28 03 06 78 Sorgen Sie insbesondere am Anfang daf r dass bereits einige Optimierungsvorschl ge besprochen werden und dass der Fortschritt bei laufenden Verbesserungen angegeben werden ka
157. nstig wie m glich gefunden Kontrollpunkte 1 C 1 Es findet eine Abstimmung zwischen den High Level Tests und den Low Level Tests oder den Pr fungsstufen im Bereich der Teststrategie statt Risiken Qualit tsmerkmale Betrachtungsbereich von Test Pr fung und Planung 1 C 2 Das Ergebnis der Abstimmung ist eine koordinierte Strategie die schriftlich festgehalten wird W hrend des gesamten Pr fungs und Testprozesses wird diese Strategie berwacht 1 C 3 Jeder High Level Test ermittelt auf der Grundlage der Abstimmung die eigene Teststrategie wie bei Ebene A beschrieben 1 C 4 falls zutreffend Jeder Low Level Test ermittelt auf der Grundlage der Abstimmung die eigene Teststrategie wie beim Kernbereich Low Level Test Ebene C beschrieben 1 C 5 falls zutreffend Jede Pr fungsstufe bestimmt auf der Grundlage der Abstimmung die eigene Pr fungsstrategie wie beim Kernbereich Pr fen Ebene C beschrieben 1 C 6 Abweichungen im Hinblick auf die koordinierte Strategie werden mitgeteilt danach erfolgt auf der Grundlage der Risiken eine fundierte Anpassung der Strategie Abh ngigkeiten falls zutreffend Low Level Tests Ebene C Strategie f r Low Level Tests Low Level Tests m ssen gem ihrer eigenen Strategie durchgef hrt werden die durch die koordinierende Teststrategie bestimmt wird falls zutreffend Pr fen Ebene C Pr fungsstrategie Die Pr fungen m ssen gem ihrer eigenen Strategie durchgef hrt we
158. nt Jede Aktivit t ist mit Unteraktivit ten bzw aspekten versehen Diese verstehen sich als zus tzliche Informationen und haben daher keinen zwingenden Charakter F r die Planungsphase Aktivit t Teilaktivit ten Aspekte Produkt Auftragsformulierung Auftraggeber und Im Testplan oder nehmer Implementierungsplan Betrachtungsbereich festgelegt Ziel Randbedingungen Sogeti Deutschland GmbH Version 1 01 28 03 06 102 Ausgangspunkte Festlegung der Testbasis Bestimmung relevante Dokumentation Bestimmung der erforderlichen Funktionen Im Testplan oder Implementierungsplan festgelegt Einrichten der Organisation Bestimmung der erforderlichen Funktionen Zuweisung der Aufgaben Befugnisse und Verantwortlichkeiten Beschreibung der Organisation Zuweisung des Personals Im Testplan oder Implementierungsplan festgelegt Beschreiben der Testprodukte Festlegung der Testprodukte Erstellen ggf Ausw hlen von Richtlinien Im Testplan oder Implementierungsplan festgelegt Definition Infrastruktur und Tools Definition Testumgebung Definition Testtools Im Testplan oder Implementierungsplan festgelegt Definition des Testmanagements Definition Testprozessmanagement Fortschritt Qualit t Statistiken Berichterstattung Definition Testproduktmanagement Definition Bearbe
159. nterst tzen Weitere Vorteile sind der Aufbau einer gemeinsamen Wissensbasis im Testen und ein erweitertes Verbesserungspotential da mehr Personen dieselbe Methodologie einsetzen Ein Vergleich zwischen Testprojekten kann den Grund daf r aufzeigen warum das eine mit weniger Problemen zu k mpfen hat als das andere Das Risiko einer organisationsweiten Methodologie besteht darin dass entweder der Ansatz zu generisch ist was dazu f hrt dass jedes Testprojekt vieles selbst herausfinden muss oder er ist zu detailliert was nicht gen gend Raum f r die speziellen Bed rfnisse der einzelnen Testprojekte l sst Kontrollpunkte 13 C 1 Die Methodik ist in einem generischen Modell f r die Organisation definiert 13 C 2 Jedes Projekt arbeitet nach diesem generischen Modell 13 C 3 Abweichungen sind hinreichend begr ndet und dokumentiert Abh ngigkeiten Keine Optimierungsvorschl ge Erstellen Sie eine Beschreibung der organisationsweiten Methodologie in einem Handbuch oder Verweisen Sie auf entsprechende Literatur Dieses Handbuch wird zum Teil daraus bestehen dass man existierendes Material zusammentr gt Widmen Sie dem Unterschied zwischen generischen und spezifischen Anteilen viel Aufmerksamkeit Spezifische Punkte sollten nicht in der organisationsweiten Methodologie definiert werden Organisieren Sie das Testen in einer dedizierten Testabteilung die daf r verantwortlich ist die Methodologie zu etablieren Personal in der Anw
160. nur eine Testspezifikationstechnik vorliegt so versuchen Sie anhand einfacher Variationen die M glichkeit zu schaffen mehr bzw weniger Tiefe anzusetzen Als Beispiel von mehr oder weniger Tiefe kann das Testen oder Nichttesten von Grenzwerten genannt werden Grenzwerte sind Werte die kurz vor auf oder kurz hinter der Grenze eines Bereichs liegen Bei der Bedingung A gt 10 gelten 9 10 und 11 bei ganzen Zahlen als Grenzwerte Stellen Sie f r erneute Tests eine Arbeitsweise auf bei der jeweils die Abw gung zwischen vollst ndigem Regressionstesten eingeschr nktem Regressionstesten je Fehler Funktion Teilsystem oder sogar kein Regressionstest erfolgen kann und dies schriftlich festgehalten wird F r sicherheitsrelevante Software ist ein vollst ndiger Nachtest meist obligatorisch Unterscheiden Sie zwischen den verschiedenen Teilsystemen und Qualit tsmerkmalen und versuchen Sie jedem Teilsystem und jedem Qualit tsmerkmal eine relative Bedeutung zuzuweisen Setzen Sie diese Bedeutung in einen umfangreichen oder weniger umfangreichen Test um Sogeti Deutschland GmbH Version 1 01 28 03 06 13 Um das Risiko einer versp teten Lieferung bestimmter Systemkomponenten zu minimieren sollte man ber R ckfallszenarien nachdenken Es kann helfen eine Systemkomponente durch eine vorhergehende Version mit mehr oder weniger derselben Funktionalit t zu ersetzen Das Risiko der Regression eine bereits getestete Systemkomponente f
161. nvoranschlag und eine ebensolche Planung aufgestellt werden k nnen m ssen die einzelnen Aktivit ten des Testprozesses unterschieden werden Hierzu ist ein Phasenmodell erforderlich Optimierungsvorschl ge Sammeln Sie Informationen ber die Qualit t der Methode nach der Kostenvoranschl ge und Planungen gemacht werden verschaffen Sie sich beispielsweise einen berblick ber Kostenvoranschlag und Planung voriger Projekte und ob diese zuverl ssig waren Versuchen Sie den Kostenvoranschlag nach unterschiedlichen Gesichtspunkten zu beurteilen M glichkeiten zur Bestimmung des Aufwands sind Nehmen Sie einen Prozentsatz des insgesamt veranschlagten Aufwands der sich auf die Erfahrungen mit hnlichen Testprozessen gr ndet beispielsweise Fachkonzept 20 DV Konzept Realisierung und Modultest 40 45 Systemtest 15 20 Abnahmetest 20 Verwenden Sie Kennzahlen die auf Erfahrungen mit hnlichen Testprozessen basieren unsere eigenen Erfahrungen gehen von folgenden Zahlen aus 10 Vorbereitung 40 Spezifikation 45 Durchf hrung einschlie lich eines erneuten Tests 5 Abschluss die Durchf hrung eines erneuten Tests kostet etwa 50 der Zeit die man f r eine erste Testdurchf hrung ben tigt da die Testware jetzt getestet und wieder verwendbar ist veranschlagen Sie den zeitlichen Aufwand f r Testmanagementaufgaben auf 10 20 Sch tzen Sie die Stunden f r die einzelnen Aktivit ten ein und extrapoliere
162. oftwarekomponente die sich nicht weiter aufteilen l sst Eine Vorrichtung ein Programm oder ein System das die gleichen Eingaben akzeptiert und die gleichen Ausgaben wie das vorgegebene System produziert Siehe aktuelles Ergebnis oder erwartetes Ergebnis Das erwartete Verhalten durch Spezifikation eines Objektes mittels eines spezifischen Tests Siehe St rung Failure Mode and Effect Analysis bezeichnet eine analytische Methode um potentielle Schwachstellen zu finden Ein Dokument das die Funktionen spezifiziert die ein System oder eine Komponente erbringen muss Das Testprinzip basiert auf der Tatsache dass ein Test rund um den Grenzwert eine gr ere Fehlerfindungschance bietet Hardware ist ein Sammelbegriff f r alle Baugruppen und Peripherieger te eines Computers High Level Tests Diese Teststufen werden zum Testen abgeschlossener kompletter Produkte eingesetzt Hardware in the Loop ist eine Testebene bei der die HiL Hardware eines Systems ber spezielle Schnittstellen in einer simulierten Umgebung getestet wird i Ein Gruppenqualit tsverbesserungsprozess f r Inspektion schriftliches Material Es beinhaltet zwei Aspekte zum einem die Verbesserung des Produktes das eigene Sogeti Deutschland GmbH Version 1 01 28 03 06 119 Dokument und zum anderen die Verbesserung des Reifeprozesses Integration Integrationsstrategie Integrationstest
163. omponente 4B Komponente X e gt Lieferant 3 Lieferant 2 Komponente III Komponente Y Lieferant 2 Komponente Z Lieferant 3 Interne Komponente IV Entwicklung Komponente ID Lieferant 2 Komponente ZZ Integrationstests haben folgende Zielsetzungen Zu Verifizieren dass das Zusammenstellen der Komponenten Hardware und oder Software nicht zu einer Verschlechterung der Funktionalit t der zusammengestellten Komponenten f hrt Zu Verifizieren dass die Schnittstelle und die Kommunikation zwischen den zusammengestellten Komponenten Hardware und oder Software der Spezifikation entsprechen Zu Verifizieren dass die Zusammenstellung als Ganzes stabil und zuverl ssig ist Zu Validieren dass die Zusammenstellung die gew nschte Funktionalit t aufweist 21 A Integration ist als separater und geplanter Prozess identifiziert Beschreibung Die Organisation ist sich bewusst dass alle separaten Hardware und oder Software Komponenten in ein finales Produkt zu integrieren sind Als Ergebnis wurde mindestens ein Integrationstest im Rahmen der Projektplanung identifiziert einschlie lich der Beginn und Endtermin Die Einhaltung von Beginn und Endterminen wird durch das Einbeziehen der Einkaufsabteilung wahrscheinlicher Kontrollpunkte 21 A 1 Eine Person ist verantwortlich f r die Integration der ein
164. onenten 17 B 4 Jede Anforderung und oder Designobjekt steht in Beziehung zu mindestens einem Testfall 17 B 5 Diese Beziehungen lassen sich ber mehrere Versionen hinweg nachvollziehen z B Systemanforderung A Version 1 0 bezieht sich auf Funktionales Design B Version 1 3 bezieht sich auf Programme C und D Version 2 5 und 2 7 und bezieht sich auf Testf lle X bis Z Version 1 4 17 B 6 Kriterien f r die Konformit t mit den Systemanforderungen Softwareanforderungen und Softwaredesign sind definiert und beziehen sich auf die richtigen Versionen dieser Anforderungen und dieses Designs Es ist abh ngig vom Umfang der Analyse ob alle drei realisiert werden m ssen 17 B 7 Die neuen Konfigurationseinstellungen von internen oder externen Parteien bereitgestellt werden nur in einem Standardformat ausgeliefert und akzeptiert Abh ngigkeiten Keine Optimierungsvorschl ge Versuchen Sie einige Beispiele dazu zu sammeln was infolge einer unvorschriftsm igen externen Versionsverwaltung falsch gelaufen ist Verwenden Sie diese Beispiele um innerhalb des Projekts sowie dem Management klarzumachen wie wichtig eine Versionsverwaltung ist sowohl vom Standpunkt des Tests als auch von dem des Projekts aus Generell ist die Versionsverwaltung ohne ein Konfigurationsmanagementtool schwierig Wenn die Versionsverwaltung unzureichend geregelt ist weisen Sie dann in den Testempfehlungen folgenderma en auf die Risiken hin D
165. r Testbasis f r einen begrenzten Teil des Systems das separat getestet werden soll Das System kann in mehrere Komponenten unterteilt worden sein die getrennt implementiert fertig gestellt und getestet werden Das Testen des ersten Teilsystems muss dann gleichzeitig oder fr her als die Fertigstellung der Testbasis dieses Teilsystems erfolgen Abh ngigkeiten e Einsatz des Phasenmodells Ebene A Planung Spezifikation Durchf hrung Ein fr herer Start hat nur dann Sinn wenn die Zeit gut genutzt werden kann Die Phasen Planung und Spezifikation steuern die Aktivit ten die durchgef hrt werden k nnen bevor die zu testende Software verf gbar ist Optimierungsvorschl ge Machen Sie den Testern und den am Projekt Beteiligten klar dass die Durchlaufzeit l nger ist wenn die Aktivit t Testen erst zum Zeitpunkt der Testdurchf hrung beginnt Sogeti Deutschland GmbH Version 1 01 28 03 06 28 Wenn dann erst noch Testf lle erstellt werden m ssen muss man w hlen zwischen einer l ngeren Durchlaufzeit einer niedrigeren Qualit t der Testf lle oder nicht dokumentierten Testf llen Engagieren Sie einen Testmanager bei der Festlegung der Testbasis vorzugsweise eher der den Testprozess startet 3 B Aufstellen der Testbasis Beschreibung Diese Ebene beinhaltet einen fr heren Start als Ebene A der eine bessere Abstimmung mit anderen Teststufen dar ber erm glicht wer was wann testet Die Abstimmung ist aber
166. rden die durch die koordinierende Teststrategie bestimmt wird falls zutreffend Zeitpunkt der Beteiligung Ebene C Aufstellen der Anforderungen falls zutreffend Integrationstests Ebene B Teststrategie f r die Integration Falls die Integrationstests auf Low Level Tests ausgerichtet sind dies ist einer der Low Level Tests der dann Teil einer bergreifenden Teststrategie sein kann Die Gesamtstrategie muss bereits in einem fr hen Stadium bestimmt werden Optimierungsvorschl ge Beginnen Sie die Kommunikation ber die koordinierte Strategie der High Level Tests mit der Partei die f r die Low Level Tests Entwickler meistens auf Seiten des Lieferanten oder die Pr fungen h ufig Qualit tssicherung des Lieferanten zust ndig ist Diese Kommunikation berschreitet fast immer die Grenzen der Organisation Suchen Sie berlappungen und L cher in der Deckung zwischen allen Tests und Pr fungen Der Auftraggeber muss gemeinsam mit dem Lieferanten des Testobjekts entscheiden welcher Test wann durchgef hrt werden soll Die Qualit t des Systems oder der Systemkomponenten l sst sich steigern wenn fr h im Projekt ein Fahrzeugprototyp zur Sogeti Deutschland GmbH Version 1 01 28 03 06 18 Verf gung steht so dass der Lieferant sog Rapid Prototyping Techniken einsetzen kann Tests die in dieser Phase des Projekts spezifiziert werden k nnen sp ter im System oder Abnahmetest mit der realen Soft
167. ren berblick zu bekommen sollten diese Metriken w hrend der unterschiedlichen Teststufen auf beiden Seiten Auftraggeber Lieferant erfasst werden Kontrollpunkte 7 B 1 Im Test Projekt erfolgen Ergebnismessungen f r mindestens zwei der folgenden Aspekte e Effektivit t der Fehlersuche Die gefundenen Fehler im Vergleich zur Gesamtanzahl der vorhandenen Fehler in Letzteres ist schwer messbar man sollte hier jedoch die gefundene Anzahl an Fehlern in sp teren Tests oder in den ersten Monaten nach Produktionsstart ber cksichtigen Analyse welcher Test die Fehler eher h tte finden m ssen dies sagt etwas ber die Effektivit t voriger Tests aus e Effizienz der Fehlersuche Die Anzahl der gefundenen Fehler pro aufgewandte Stunde gemessen ber die gesamte Testperiode oder ber verschiedene Teststufen hinweg e Testdeckungsgrad Die Testziele die mit einem Testfall abgedeckt sind im Vergleich zur Anzahl der m glichen Testziele in Diese Ziele k nnen sowohl f r Funktionsspezifikationen als auch f r Softwareanforderungen und das Softwaredesign bestimmt werden man denke beispielsweise an die Abdeckung von Anweisungen oder von Anforderungen e Bewertung der Testware Die Anzahl der gefundenen Fehler deren Ursache in einem falschen Testen lagen z B schlechte nicht fehleraufdeckende Testdaten falsche Version der Testbasis benutzt im Vergleich zur Gesamtanzahl der gefundenen Fehler in Prozent e Qualit
168. rfahren f r das periodische Abweichungsmeeting fest Ber cksichtigen Sie hierbei die M glichkeit der Eskalation und eines Kontingenzplans Im Fall von Abweichungen die den weiteren Testfortschritt blockieren Aufgrund m glicher Sicherheitsprobleme ist es die beste L sung das Abweichungsmanagementsystem au erhalb des Unternehmensnetzwerks zu betreiben Sogeti Deutschland GmbH Version 1 01 28 03 06 89 17 TESTWARE MANAGEMENT Da es m glich sein muss Testprodukte zu warten und zu bertragen m ssen sie verwaltet werden Au er den Testprodukten selbst wie Testpl nen spezifikationen und dateien m ssen auch die Produkte vorheriger Vorg nge wie Entwurf und Entwicklung gut verwaltet werden da der Testprozess u a durch die Anwendung falscher Programmversionen schwer gest rt werden kann Wenn die Tester entsprechende Anforderungen an das Management stellen wirkt sich dies positiv aus und die Testbarkeit der Produkte wird erh ht 17 A Internes Testware Management Beschreibung Eine gute Versions Verwaltung der internen Testware beispielsweise der Testspezifikationen dateien und datenbanken ist erforderlich um die Regressions Tests schnell durchf hren zu k nnen Es kostet dann nicht so viel Zeit um kurz vor der Testdurchf hrung zu ermitteln was genau getestet werden muss und was wozu geh rt Au erdem werden nderungen in der Testbasis zur Folge haben dass auch Testf lle angepasst werden m
169. rierten Test sind beispielsweise Die Eignung oder Verf gbarkeit der Testumgebung Die fr hzeitige Aufdeckung und insbesondere auch Korrektur von relativ wichtigen Fehlern im Entwicklungsprozess durch den Einsatz von Abnahmetestf llen Der fr hzeitige Austausch von Kenntnissen zum System von Seiten der Entwickler und den Auftraggeber Der gemeinsame Einsatz der Testumgebung und der dazugeh rigen Verwaltungsverfahren Testtools die aus Sicherheitsgr nden normalerweise nicht in der produktionsnahen Umgebung verwendet werden d rfen stehen zusammen mit der dabei erforderlichen technischen Unterst tzung dem Auftraggeber zur Verf gung Die rechtzeitige Weitergabe von Kenntnissen an den Auftraggeber zum Testen Sogeti Deutschland GmbH Version 1 01 28 03 06 16 Die fr hzeitige Beteiligung beim Testen wird die Auftraggeber zum aktiven Mitdenken ber das Testen anspornen sowie die Einf hrung erleichtern und den Akzeptanzgrad erh hen Durch den integrierten Test wird der Einsatz von Ressourcen optimiert Personal und Testeinrichtungen werden zentral eingesetzt und Priorit tskonflikte rechtzeitig verhindert Die Einrichtung des Testens unter einer zentralen Leitung wird das gegenseitige Verst ndnis erh hen wodurch alle Beteiligten besser miteinander kommunizieren k nnen Beispiel Ein OEM hat den Auftrag zur Entwicklung eines neuen Steuerger ts f r ein Bremssystem vergeben Das AB
170. rungen Softwaredesign und andere Dokumente die zur Ermittlung von Testf llen herangezogen werden Identifikation der Dokumentation Im Testplan festgelegt Festlegen des Betrachtungsbereichs Was wird getestet und was wird nicht getestet Im Testplan festgelegt Festlegen der Teststrategie f r diese Iteration Strategiebestimmung Erstellen eines Kostenvoranschlags Im Testplan festgelegt Einrichten der Organisation Bestimmung der erforderlichen Funktionen Zuweisung der Aufgaben Befugnisse und Verantwortlichkeiten Beschreibung der Organisation Zuweisung des Personals Feststellen der Ausbildungen Feststellen der Kommunikationsstruktur en Feststellen der Hierarchie der Berichterstattungen Im Testplan festgelegt Identifizieren der Testprodukte Festlegen der Testprodukte Erstellen Ausw hlen von Richtlinien Im Testplan festgelegt Definition von Infrastruktur und Tools Definition der Testumgebung Definition der Testtools Definition der B roeinrichtung Festlegen der Im Testplan festgelegt Sogeti Deutschland GmbH Version 1 01 28 03 06 RA Infrastrukturplanung Einrichten des Testmanagements Definition Testprozessmanagement Fortschritt Qualit t Metriken Berichte Definition Infrastrukturmanagemen t Definition Testproduktmana
171. rzielle Systemkomponenten oder auch Software Das Verh ltnis zwischen dem was getestet werden kann und dem was getestet wird Eine Analysemethode die festlegt welche Komponenten einer Software durch Testf lle getestet abgedeckt werden k nnen und welche nicht getestet abgedeckt werden k nnen Ein Prozess der die Architektur Komponenten Schnittstellen und andere Eigenschaften eines Systems oder einer Komponente definiert Testen auf der Grundlage gezielter Testf lle durch Ausf hren des Testobjekts und oder Programmen Im TPI Modell sind die Kernbereiche in verschiedenen Ebenen unterteilt Electronic Control Unit bezeichnet die Software eines Steuerger ts Der klassische Fall einer Eingabe Sogeti Deutschland GmbH Version 1 01 28 03 06 118 Eingang Input Eingangspr fung Eingebettete Software Eingebettete Systeme Einheit Emulator Ergebnis Erwartete Ergebnis Fehler FMEA Funktionale Spezifikation Grenzwertanalyse Hardware Ein Signal oder eine Variable die durch das System oder der Komponente verarbeitet wird Eine Pr fung die feststellt ob das Testobjekt komplett geliefert wurde und bestimmt wann die n chste Testphase gestartet werden kann Software in einem eingebetteten System um als Aufgabe die spezifische Hardware eines Systems zu kontrollieren Ein System das mit der realen Welt interagiert durch Benutzung von Sensoren und Aktionen Eine S
172. s Datenmodell vor und Sind Bildschirm und Listenlayouts vorhanden Je verwendete Testspezifikationstechnik Nicht jede Testtechnik eignet sich f r eine bestimmte Testbasis Eine Technik Sogeti Deutschland GmbH Version 1 01 28 03 06 39 kann nur verwendet werden wenn die Testbasis bestimmten Anforderungen entspricht die f r diese Technik spezifisch sind beispielsweise das Vorhandensein von Zustandsdiagrammen oder eines Datenmodells Die Festlegung dieser Anforderungen in Checklisten erm glicht eine schnelle Kontrolle der Eignung der Testbasis f r die ausgew hlte Testtechnik Machen Sie die Ergebnisse der berpr fung gefundene Abweichungen Einblick in die Qualit t der Testbasis f r die Tester sichtbar und weisen Sie darauf hin dass durch diese Ergebnisse das Verst ndnis und die Kenntnis der Testbasis erlangt und verbessert werden 6 B Checklisten Beschreibung Checklisten k nnen auch verwendet werden um nichtfunktionale Qualit tsmerkmale zu testen Die Checklisten beschreiben die wichtigen Aspekte auf die man sich w hrend der berpr fung konzentrieren sollte F r jeden ist im Voraus klar was der Schwerpunkt der Pr fung sein soll Kontrollpunkte 6 B 1 Statische Tests ber die berpr fung der Testbasis hinaus werden anhand von vom Projektmanagement bzw Auftraggeber genehmigten Checklisten durchgef hrt Diese Checklisten werden eingesetzt um einen statischen Test nichtfunktionaler
173. s hin zum Einsatz im Markt um eine wohl berlegte Entscheidung zu f llen welche Risiken wann gestestet werden sollen wobei ein optimales Gleichgewicht zwischen Nutzen und Kosten zu erreichen ist Sogeti Deutschland GmbH Version 1 01 28 03 06 20 2 EINSATZ DES PHASENMODELLS Innerhalb des Testprozesses k nnen mehrere Phasen unterschieden werden n mlich Planung Vorbereitung Spezifikation Durchf hrung und Abschluss Jede Phase setzt sich aus einigen Aktivit ten zusammen Bei jeder Aktivit t ist beschrieben welches ihr Ziel ist welches die freizugebenden Produkte sind und wie die Aktivit t durchzuf hren ist Die Einteilung in Phasen macht den Testprozess kontrollierbar da klar wird wer was wann zu tun hat und wie die verschiedenen Aktivit ten gemeinsam mit den involvierten Parteien geplant und berwacht werden k nnen Wenn diese Transparenz fehlt werden Aktivit ten entweder zu sp t durchgef hrt oder sie werden vergessen Aktivit ten laufen aus dem zeitlichen Rahmen da kein Einblick in die Dauer der Aktivit ten zur Verf gung steht Es besteht keine M glichkeit zum Einblick in den Fortschritt des Testprozesses und daher ist es kaum m glich den Prozess innerhalb der vorgesehenen Zeit zu beenden Schlie lich bleibt der Testprozess vermutlich l nger als notwendig auf dem kritischen Pfad der Systementwicklung 2 A Planung Spezifikation Durchf hrung Beschreibung Die wichtigsten Phasen im Testprozess sind Planu
174. schreibt eine Vielzahl von Testtechniken die zur Auswahl stehen hierbei sowohl Black Box als auch White Box Techniken Sowohl die Testspezifikation als auch die hiermit verbundenen Testma techniken werden beschrieben Ein Anhang enth lt Richtlinien wie diese Techniken anzuwenden sind wobei jede einzelne anhand von Beispielen beschrieben wird Auszug aus einer Web Publikation von BCS SIGIST 20 B White Box Techniken Beschreibung Der Einsatz geeigneter Techniken f r die Tests durch die Entwickler f hrt zu einer Steigerung der Qualit t dieser Tests und damit der Qualit t der Software Von gro er Bedeutung dabei ist dass so viele Fehler wie m glich zu einem so fr h als m glichen Zeitpunkt gefunden werden Au erdem f hrt die strukturierte Arbeitsweise zu einer Vermeidung von Fehlern da der Entwickler mehr Information dar ber erh lt wo die Fehler gemacht worden sind Schlie lich bietet sie M glichkeiten zur Prozessverbesserung da bei einer beschriebenen und strukturierten Arbeitsweise besser sichtbar ist wo und wie optimiert werden kann Kontrollpunkte 20 B 1 Neben nicht formalen Techniken werden bei den Low Level Tests auch formale Testspezifikationstechniken angewandt bei denen auf eindeutige Weise von der Testbasis zu den Testf llen gelangt werden kann 20 B 2 F r Low Level Tests ist es m glich fundierte Aussagen ber die Testabdeckung bzgl der Testbasis zu treffen 20 B 3 Die Testware ist durch
175. ssant zu wissen dass alle offen stehenden Abweichungen behoben wurden sondern auch deren Anzahl und Art Kontrollpunkte 16 A 1 Jede Abweichung und deren Status wird beobachtet M gliche Zust nde sind neu zugewiesen in Arbeit verschoben abgewiesen bereit f r Nachtest Nachtest OK geschlossen 16 A 2 Folgende Aspekte der Abweichung werden erfasst eindeutige Nummer Mitarbeiter der die Abweichung entdeckt hat Datum Schweregrad Testobjekt mit Versionsbezeichnung Problembeschreibung Statusangabe Abh ngigkeiten Keine Optimierungsvorschl ge Das F hren einer solchen Verwaltung kann meistens mit einem Spreadsheet oder Textverarbeitungsprogramm erfolgen es sei denn dass Sogeti Deutschland GmbH Version 1 01 28 03 06 85 eine sehr hohe Anzahl an Abweichungen erwartet wird beispielsweise bei einem umfangreichen Projekt bzw umfangreiche Berichterstattungsm glichkeiten gew nscht werden siehe auch n chste Ebene F r diese F lle ist es besser ein spezifisches Tool f r die Dokumentation der Abweichungen einzusetzen F hren Sie die Rolle des Vermittlers im Testteam oder Projekt ein Diese Aufgabe soll die Abweichungsfindung und deren L sungen ad quat kanalisieren Der Vermittler unterh lt dazu die externen Kontakte auf Managementebene Der Vermittler fungiert als Mittelsmann zwischen Abweichungen auf der einen und deren L sungen auf der anderen Seite Vorteile dabei sind
176. ssen Um herauszufinden um welche Testf lle es sich handelt ist eine klar definierte und dokumentierte Beziehung zwischen Testbasis und Testf llen sehr wichtig Kontrollpunkte 17 A 1 Die Testware Testf lle Testskripte Ausgangs Datenbanken usw Testbasis Testobjekt Testumgebung zus tzliche Komponenten Hardware und Software Testkonfiguration Testdokumentation und Testvorschriften werden intern nach einem vorgeschriebenen Verfahren mit den entsprechenden Schritten f r die Anlieferung Erfassung Archivierung und Benutzung verwaltet 17 A 2 Das Management zeigt die Beziehungen zwischen den verschiedenen Elementen u a Testbasis Testobjekt Testware auf und kontrolliert sie 17 A 3 Die bergabe an das Testteam findet nach einem festgelegten Verfahren statt Der Inhalt der bergabe muss bekannt sein Welche Komponenten und Versionen des Testobjekts einschlie lich Eigenentwicklungen wiederverwendbare Komponenten und fertige Standardsoftware werden bergeben welche Version der Testbasis gel ste Fehler noch offen stehende Fehler einschlie lich der noch ungel sten Fehler des Entwicklers Optional k nnen andere Komponenten z B Quellcode ben tigte Hard und Software Testware von vorigen Tests Bestandteil der bergabe sein Abh ngigkeiten Keine Optimierungsvorschl ge Betrauen Sie jemanden mit der Aufgabe des Testware Managements Setzen Sie dazu vorzugsweise nicht den Testmanager
177. stage im ersten Jahr und 45 Arbeitstage in Sogeti Deutschland GmbH Version 1 01 28 03 06 50 gt SOGETI jedem weiteren Jahr Diese Berechnungen k nnen auch grafisch dargestellt werden beispielsweise zur Bestimmung des Break Even Points Nach wie vielen Tests zahlt das Tool sich aus 90 80 70 60 50 Stunden 4 30 20 10 0 Aufnahme 1 2 3 4 5 Erster Test und erneuter Test Manuelll _ Automatisiert Sch tzen Sie die folgenden Faktoren ein steht f r Kosten und steht f r Nutzen eines Tools Anschaffung eines Tools Ausbildungen Einrichtung des Tools Aktualisierung der Skripte bei nderungen Aktualisierung von automatisierten Skripten ist wesentlich arbeitsintensiver als die Aktualisierung von manuellen Skripten H here Qualit t von automatisierten Tests davon ausgehend dass der menschliche Tester bei der Durchf hrung des x ten Regressionstests weniger aufmerksam wird H here Motivation und Produktivit t des Personals ein Tool verleiht dem Testen eine neue Dimension es macht mehr Spa bei guten Tools K rzere Durchlaufzeit Diese Faktoren m ssen eingesch tzt werden wobei insbesondere die Aktualisierung der automatisierten Skripte viel Aufwand erfordern kann und auch schwierig vorhersehbar ist Erstellen Sie jetzt einen vollst ndigen Kosten Nutzen Vergleich Der Vergleich steckt zwar voller Annahmen vermittelt
178. stdurchf hrung geliefert hat Im Testprozess muss soviel wie m glich bereits im Vorfeld geregelt worden sein wof r keine zu testende Software erforderlich ist Damit wird erreicht dass die Durchlaufzeit des gesamten Projekts so kurz wie nur m glich ist bzw dass soviel wie m glich Zeit zur Verf gung steht um alle geplanten Tests durchzuf hren Somit kann die Zeit nach Bereitstellung des Testobjekts fast ausschlie lich f r die reine Durchf hrung der geplanten Tests genutzt werden Sogeti Deutschland GmbH Version 1 01 28 03 06 24 2 B Vollst ndiges Phasenmodell Planung Vorbereitung Spezifikation Durchf hrung und Abschluss Beschreibung Beim vollst ndigen Phasenmodell kommen zwei Phasen hinzu Vorbereitung und Abschluss Eine Hauptaktivit t der ist die Detail berpr fung Dabei wird die Testbasis auf ihre Testbarkeit hin berpr ft Die Vorbereitungsphase beinhaltet als Hauptaktivit t die Detail berpr fung Dabei wird die Testbasis auf ihre Testbarkeit hin berpr ft Diese Evaluierung hat folgende Ziele berpr fung ob sich die Testbasis f r die ausgew hlten Testspezifikationstechniken eignet Wenn nicht muss man entweder andere Techniken ausw hlen was blicherweise zu einer geringeren Testtiefe und somit weniger Einblick in die Qualit t des Testobjekts f hrt oder die Testbasis anpassen Einblick in die Qualit t der Testbasis in einem m glichst fr hen Stadium so dass bei unzureichen
179. t und erweitert wurde um die Besonderheiten der Automobilindustrie abzudecken Das TPI Modell bietet den Rahmen um die St rken und Schw chen eines bestehenden Testprozesses innerhalb eines Projekts oder einer Organisation zu bestimmen Ferner bietet das Modell Unterst tzung bei der Formulierung von ad quaten und realisierbaren Optimierungsvorschl gen f r den Testprozess in Bezug auf Qualit t Kosten und Zeit an Diese Einf hrung liefert eine kurze Beschreibung des Modells und gibt eine Definition wie die Bezeichnungen High Level Test Low Level Test und Integrationstest in diesem Modell verwendet werden und welche Bedeutung dies f r den Gebrauch des Modells hat Allgemeine Beschreibung des Modells Das TPI Modell kann wie folgt dargestellt werden TPI Ebenen Matrix M M Kontrollpunkte Optimierungsvorschl ge Kernbereiche Im TPI Automotive Modell werden 21 Kernbereiche betrachtet die alle Aspekte eines strukturierten Testprozesses abdecken Jeder Kernbereich identifiziert einen typischen Aspekt des Testprozesses Das TPI Modell bietet Vorschl ge zur Verbesserung des Testprozesses in Bezug auf jeden Kernbereich an Kernbereich Kernbereich Teststrategie Testfunktionen und Training Einsatz des Phasenmodells Reichweite der Methodik Zeitpunkt der Beteiligung Kommunikation Kostenvoranschlag und Planung Berichterstattung Testspezifikationst
180. te Richtlinien und Verfahren Hierbei handelt es sich um die elementaren Bausteine die ben tigt werden um den Einsatz von Metriken zu etablieren Hier sind die elementaren Bausteine aufgef hrt Fortschritts berwachung Veranschlagung und berwachung von Ressourceneinsatz Aktivit ten freizugebenden Produkten Meilensteinen Konfigurationsmanagement berwachung und Verwaltung von Versionen und nderungen Quellcode und Entwurfdokumentation Dokumentation der Abweichungen und der nderungen berwachung und Verwaltung von Abweichungen und unbearbeiteten nderungsvorschl gen change requests Im Folgenden wird f r jede Ebene angegeben worauf sich die Messungen beziehen 7 A Projektmetriken ber Produkt Beschreibung F r den Testprozess sind Metriken ber den Fortschritt des Prozesses und die Qualit t des getesteten Systems von gro er Bedeutung Sie werden verwendet um den Testprozess zu verwalten die Testempfehlungen zu fundieren und auch um Systeme oder Prozesse miteinander vergleichen zu k nnen Diese Ebene beinhaltet Metriken f r den Input eingesetzte Mittel und den Output Ergebnisse usw Kontrollpunkte 7 A 1 Im Test Projekt werden Input Metriken gef hrt e Eingesetzte Ressourcen Stunden e Ausgef hrte Aktivit ten Stunden und Durchlaufzeit e Umfang und Komplexit t des zu testenden Systems Anzahl der Funktionen bzw Programmieraufwand Anzahl der Systemanforderungen Anzahl von Programmz
181. tet und w hrend des Tests erfolgen keine St rungen durch andere Aktivit ten Im Fall von Fahrzeug Prototypen sind diese St rungen meist vorhanden da ein Fahrzeugprototyp weitere Prototyp Steuerger te enthalten kann die den Test beeinflussen k nnen In diesem Fall m ssen die St rungen soweit minimiert werden wie es durch den Tester steuerbar ist 9 B 3 Die Risiken die mit angepassten und ge nderten Umgebungen eingegangen werden wurden analysiert und es wurden angemessene Ma nahmen ergriffen Abh ngigkeiten Teststrategie Ebene B Kombinierte Strategie f r High Level Tests Die M glichkeit zum Testen in einer anderen Umgebung erfordert eine gute Abstimmung zwischen den verschiedenen Teststufen Voraussetzung daf r ist also eine koordinierte Teststrategie Sogeti Deutschland GmbH Version 1 01 28 03 06 56 Optimierungsvorschl ge Sorgen Sie daf r dass das Testen so fr h wie m glich beginnt w gen Sie dabei einerseits die Vorteile einer separaten verwalteten und repr sentativen Umgebung und andererseits die Vorteile eines fr hen Testens bzw der effizienten Testdurchf hrung ab Beispiel Teile des Produktionsabnahmetests k nnen in der Systemtestumgebung ausgef hrt werden z B berpr fung des Speicherbedarfs Ferner k nnen beispielsweise einige wichtige Abnahmetestf lle bereits in der Systemtest oder Entwicklungsumgebung ausgef hrt werden oder es kann die Kontrolle der Benutzungsfreundlichkeit im F
182. teurer Jedoch kann hierf r auch ein Schichtbetrieb etabliert werden z B f hrt Team 1 Tests morgens durch Team 2 f hrt Tests nachmittags durch Sorgen Sie daf r dass dem Testteam technische Kenntnisse zur Verf gung stehen Richten Sie die Testumgebung ein und geben Sie bei Abweichungen die Risiken und eventuellen Ma nahmen an Planen Sie gemeinsam mit dem Auftraggeber die rechtzeitige Verf gbarkeit von Fahrzeug Prototypen und welche Anforderungen in diesen Fahrzeugen erf llt sein sollten Entwickeln Sie Modelle mit dem richtigen Detaillierungsgrad f r HiL Umgebungen Je detaillierter ein solches Modell ist desto schwieriger und kostspieliger ist es ein solches Sogeti Deutschland GmbH Version 1 01 28 03 06 55 Modell zu entwickeln Ein h chst detailliertes Modell ist zum Beispiel fr h in der Entwicklungsphase meist nicht n tig berlegen Sie f r jedes einzelne Modell welcher Detaillierungsgrad notwendig ist wie viel Zeit und Budget verf gbar sind und wann das Modell einsatzbereit sein sollte 9 B Testen in der geeignetsten Umgebung Beschreibung Der Aufbau von Testumgebungen und deren Repr sentationsgrad wird heutzutage gut beherrscht Falls gew nscht kann das Testteam von der normalen Testumgebung abweichen und die Tests in anderen Testumgebungen durchf hren welche besser zu bestimmten Testzielen passen Auf diese Weise ist es m glich in einer anderen Umgebung zu testen die den spezifischen Tes
183. tivit t zu einem bestimmten Datum beendet haben soll damit am n chsten Tag mit dem Testen begonnen werden kann Der Entwickler ist immer zum vereinbarten Zeitpunkt fertig und tags darauf wird die Software auf die Testumgebung bertragen und dort installiert Diese bertragung dauert aber einschlie lich der dazugeh rigen Probleme immer zwei bis drei Tage wodurch das Testen w hrend dieser Tage nicht beginnen kann Da die Planung oft sehr knapp bemessen ist wird die Projekt Deadline vom Testteam als letztes Glied in der Entwicklung nicht eingehalten Bei der Projektbesprechung schieben der Entwickler und die Tester in erster Linie einander die Schuld f r diese Zeitverz gerung zu man ist sich jedoch sehr schnell dar ber einig dass die Planung angepasst werden muss K nftig werden zwei Tage f r die bertragung eingeplant wonach die Problematik zum gr ten Teil der Vergangenheit angeh rt F hren Sie im Testteam eine Kommunikation ein in der das Team ber den Fortschritt die Test Ergebnisse und ber das Projekt im Allgemeinen informiert wird F rdern Sie die Gr ndung einer Testabteilung in der die Kenntnisse und F higkeiten der verschiedenen Testteams gesammelt und geb ndelt werden k nnen Sorgen Sie f r Vortr ge und dergleichen um die Organisation bzw alle Projektbeteiligten von der Bedeutung des Testens zu berzeugen 11 C Testengineering Beschreibung Auf dieser Ebene sind die Motivation Kenntnisse u
184. tool Testumgebung Testware Treiber bereinstimmungskriterien berpr fbarkeit Verhalten Walkthrough White Box Testtechnik bezogen auf konkrete Testf lle Eine Beschreibung der Art und Weise wie logische Testf lle ausgew hlt sind Die Aufteilung von Testaufwand und berdeckungsgrad ber die zu testenden Komponenten oder Aspekte des Testobjektes damit Fehler so fr h als m glich gefunden werden um Kosten zu vermeiden Eine Gruppe von Mitarbeitern die Unter der Leitung eines Testmanagers die Testaktivit ten durchf hrt Sammlung von Aktionen um ein Testprodukt auf allgemeine Weise herzustellen Ein automatisches Hilfsmittel zur Unterst tzung f r eine oder mehrer Testaktivit t en Das Zusammenspiel von Komponenten wie Hardware Software f r den Aufbau und die Nutzung von Daten in denen ein Test ausgef hrt wird Alle Testdokumente die w hrend des Testprozesses hergestellt werden Ein Ger st oder eine spezielle Implementierung eines Software Moduls um Testkomponenten zu unterst tzen die durch den Treiber ausgel st werden Ein Kriterium um zu beurteilen ob die Durchf hrung des Bestandteiles in bereinstimmung mit dem Bestandteil einer Spezifikation passt Die Problemlosigkeit mit der die Richtigkeit und Vollst ndigkeit von Informationen berpr ft werden Die Kombination aus eingegebenen Werten als Vorbedingung f r ein funktionierendes System Die komplette Spezifikation
185. triken Budgets Zeit und Qualit t Abweichungen im Zusammenhang mit dem getesteten Objekt oder seinen Elementen belegt Bei Risiken kann es sich um das Verstreichen der Frist handeln zu der das Objekt eingesetzt werden soll oder um eine unzureichende Qualit t des getesteten Objekts F r die festgestellten Risiken werden Empfehlungen formuliert die insbesondere auf die Aktivit ten des Testens zielen Man denke bei solchen Empfehlungen beispielsweise an die Durchf hrung eines vollst ndigen Regressionstests von Teilsystem A und eines beschr nkten Regressionstests f r Teilsystem B Der wesentliche Vorteil ist dass eine solche Berichterstattung den Auftraggeber in die Lage versetzt rechtzeitig entsprechende Ma nahmen zu treffen Die Untermauerung mit Trendanalysen liefert dem Auftraggeber die entsprechenden Argumente um die h ufig kostentr chtigen Ma nahmen zu treffen Kontrollpunkte 15 C 1 ber das Testobjekt wird ein Qualit tsurteil abgegeben Dieses Urteil gr ndet sich auf die Akzeptanzkriterien Eingangs oder Ausgangskriterien falls vorhanden und wird auf die Teststrategie bezogen 15 C 2 Regelm ig werden m gliche Trends im Zusammenhang mit dem Fortschritt und der Qualit t dokumentiert und es wird dar ber berichtet 15 C 3 Der Bericht enth lt Aussagen zu Risiken f r den Auftraggeber bzw f r die Betriebsf hrung sowie Empfehlungen 15 C 4 Grundlage des Qualit tsurteils sowie der festgestellten Trends sind
186. ts ausf hrt Die Person die f r die Zuweisung verantwortlich ist Fehler die gefunden aber bis jetzt nicht gefixt worden sind Es handelt sich um eine Integration aller Komponenten in einem Schritt bei der keine zus tzliche Integration von Bestandskomponenten durchgef hrt wird Sogeti Deutschland GmbH Version 1 01 28 03 06 117 Black Box Testtechnik Bottom up Testen Checkliste Code Checker Code review COTS Coverage Code Coverage Design Planung Dynamisches Testen Ebene ECU Eingabewerte Eine Kategorie von Testtechniken bei denen Testf lle ohne Kenntnis des internen Konzepts eines Objekts von den externen sichtbaren Eigenschaften eines Objekts abgeleitet werden Hierbei handelt es sich um einen Test bei dem die niedrigsten Komponenten zuerst getestet werden Anschlie end darauf aufbauend die h her liegenden Komponenten usw Der Prozess wird solange wiederholt bis man an der Spitze der Testhierarchie angekommen ist Eine Checkliste ist eine Liste von Fragen die nur mit Ja und Nein beantwortet werden k nnen Eine bergeordnete Bezeichnung f r verschiedene Tools um Codes auf m gliche Fehler z B Speicherfehler schlechte Freigabe hin zu analysieren Ein Meeting bei dem der Software Code dem Projektmanager den Benutzern und dem Kunden oder anderen interessierten Personen im Testbereich pr sentiert wird Commercial off the Shelf bezeichnet komme
187. tzielen besser entspricht oder die eigene Umgebung schnell anzupassen Dies verschafft mehr Flexibilit t bei der Auswahl der optimalen Testumgebung Gr nde f r das Testen in einer anderen Umgebung sind beispielsweise die bessere Eignung dieser Umgebung z B eine schnellere Durchlaufzeit oder die M glichkeit das Systemverhalten detailliert analysieren zu k nnen oder dass ein bestimmter Test fr her ausgef hrt werden kann Oft gibt es einen Zielkonflikt Detailliertere Manipulation und Analyse des Systemverhaltens bedeutet blicherweise geringere Repr sentativit t f r die sp tere Wirkumgebung Dabei wird bewusst die Entscheidung getroffen Testergebnisse fr hzeitiger zu erhalten oder eine geringere Repr sentativit t zu erzielen Dies sollte Ber cksichtigung finden wenn man die am besten geeignete Umgebung ausw hlt Im Falle von Fahrzeugprototypen sind die M glichkeiten begrenzt etwas anderes als das zu testende Produkt an diesem Fahrzeug zu ndern Die einzigen Komponenten der Testumgebung die gewisserma en kontrollierbar sind sind die Bedingungen unter denen der Test durchgef hrt wird Kontrollpunkte 9 B 1 Jeder Test wird in der Umgebung durchgef hrt die sich am besten daf r eignet entweder in einer anderen Umgebung die Umgebung des Lieferanten oder die des Auftraggebers oder in der eigenen Umgebung die daf r rasch und einfach angepasst wird 9 B 2 Die Umgebung ist rechtzeitig f r den Test vorberei
188. tzung f r den Einsatz vom Metriken ist der Einsatz eines elementaren Abweichungsmanagementsystems mit dem es m glich ist bersichten ber die erfassten Abweichungen zu erzeugen falls zutreffend Low Level Tests Ebene A Phasenmodell f r Low Level Tests Falls Testabdeckung und andere Code bezogene Metriken verwendet werden sollen Optimierungsvorschl ge Fangen Sie klein an Halten Sie die Stunden und Durchlaufzeit der Phasen fest sowie die Anzahl der gefundenen Abweichungen je Phase Fangen Sie so fr h wie m glich mit dem Messen an vorzugsweise sogar bevor der Verbesserungsprozess beginnt so dass sp ter Vergleichsmaterial vorliegt Bei einer guten Dokumentation der Abweichungen kann die Anzahl der unterschiedlichen Messungen immer wieder angepasst oder erweitert werden Sorgen Sie daf r dass die Organisation und nicht jedes Projekt einzeln an der Festlegung der zu f hrenden Metriken beteiligt wird Implementierung von Metriken wird aufgrund der Auswirkungen auf die Organisation h ufig als ein gesondertes Projekt betrachtet Ber cksichtigen Sie dies und untersch tzen Sie die Problematik nicht Zu diesem Thema gibt es umfangreiche Literatur Verwenden Sie niemals Metriken um Personen individuell zu berpr fen zum Beispiel ihre Produktivit t Die Gefahr einer Fehlinterpretation ist zu gro Ferner f rdert dies eine Manipulation der Daten Beispiel Wir wollen Tester nach ihrer Produktivit t bewerten und
189. u berpr fen eine Versionsverwaltung einzurichten oder in der Projektplanung die erforderliche Zeit f r die bertragung der Software zu ber cksichtigen Mit dieser Form der Berichterstattung zielt das Testen etwas mehr auf die Verbesserung des Prozesses als auf die des Produkts sowie auf die Vermeidung von Fehlern oder auf jeden Fall darauf Fehler so fr h wie m glich zu finden Kontrollpunkte 15 D 1 Empfehlungen werden nicht nur auf dem Testgebiet formuliert sondern auch im Bereich anderer Projektelemente Sogeti Deutschland GmbH Version 1 01 28 03 06 83 Abh ngigkeiten Teststrategie Ebene C Strategie f r High Level Tests sowie Low Level Tests oder Pr fungsstufen Um Empfehlungen zu anderen Projektelementen formulieren zu k nnen ist es wichtig dass alle Testprozesse eine konsistente Gesamtheit bilden und gut aufeinander abgestimmt sind Die Empfehlungen sind erst dann wertvoll wenn sie vor dem Hintergrund ausreichender Informationen ber den gesamten Testprozess formuliert werden die Empfehlungen m ssen ber das Testen hinausgehen Engagement und Motivation Ebene C Testengineering Au erdem muss die Organisation ein hohes Ma an Engagement f r den Testprozess aufweisen um die Testempfehlungen f r andere Projektelemente ernst zunehmen Optimierungsvorschl ge Fangen Sie klein an mit Empfehlungen die nur f r das Projekt gelten Beziehen Sie in einer sp teren Phase die Linienabteilung
190. uchen Sie dabei m glichst viele praktische Anweisungen zu verarbeiten so dass der Spielraum f r den denjenigen der die Testf lle aufstellt etwas eingeschr nkt wird Die Testf lle m ssen so detailliert beschrieben werden dass eine andere Person als die zust ndige Person f r die Sogeti Deutschland GmbH Version 1 01 28 03 06 35 Erstellung von Testf llen ausreichend viele Informationen bekommt um die Tests durchf hren zu k nnen 5 B Formale Techniken Beschreibung Der Einsatz von formalen Testspezifikationstechniken hat verschiedene Vorteile Eine besser fundierte Entscheidung ber die Tiefe und Vollst ndigkeit des Tests wird m glich Die Testware l sst sich besser wieder verwenden Der Testprozess wird weniger abh ngig von der Person die die Testf lle erstellt und durchf hrt Die Testabdeckung des Testobjekts h ngt von der gew hlten Technik ab Der Testprozess l sst sich besser berwachen weil im Vorfeld abgesch tzt werden kann wie viele Testf lle erforderlich sind Auf diese Weise ist eine bessere Planung und Fortschritts berwachung m glich Die Einf hrung mehrerer Techniken ist wichtig weil verschiedene Systeme oder Teilsysteme unterschiedliche Testintensit ten erfordern Risikobasiertes Testen Kontrollpunkte 5 B 1 Neben nicht formalen Techniken werden auch formalere Techniken eingesetzt wobei der Weg von der Testbasis zu den Testf llen eindeutig vorgegeben ist 5 B 2 F
191. umentation der Abweichungen Ebene A interne Dokumentation der Abweichungen Voraussetzung f r eine Berichterstattung ber die gefundenen Abweichungen bedeutet dass die Fehler intern gut verwaltet werden m ssen Optimierungsvorschl ge Machen Sie im Projekt klar dass allein die Tatsache dass keine offen stehenden Abweichungen mehr vorhanden sind nicht hei t dass nach Beendigung des Tests eine positive Empfehlung formuliert werden kann Beispiel Es wurde ein Fehler in Funktion A gefunden der m glicherweise einen strukturellen Charakter tr gt und ebenfalls in den Funktionen B bis Z enthalten ist Wenn der Fehler in Funktion A behoben wurde sagt das nichts ber die M glichkeit aus dass sich der Fehler noch in den Funktionen B bis Z befindet Die Empfehlung k nnte lauten zun chst diese Funktionen noch einmal zu testen bevor das System freigegeben wird Konzentrieren Sie sich auf die wichtigsten Abweichungen Bei einer Berichterstattung ber den Fortschritt wird sichtbar was das Testen bringt und wie viel Zeit jede Aktivit t etwa kostet Das vergr ert den berblick und das gegenseitige Verst ndnis Bei einer Berichterstattung die ber die Organisationsgrenzen hinausreicht kann ein Prinzip einer einzigen Quelle eingef hrt werden Sogeti Deutschland GmbH Version 1 01 28 03 06 81 15 C Risiken und Empfehlungen anhand von Metriken Beschreibung Die Risiken werden soweit wie m glich mit Trendanalysen von Me
192. und Berichterstattung ber Zeitaufwand und Testfortschritt Beschreibung Die Testberichterstattung beinhaltet zus tzliche Informationen in Form der geplanten der bislang verwendeten und der noch erforderlichen Budgets und Durchlaufzeiten Diese Informationen sind relevant da der Auftraggeber dadurch einen besseren berblick ber die Kosten des Testens und die Durchf hrbarkeit der Gesamt Planung erh lt Zudem wird die Berichterstattung der Abweichungen mit Kategorien entsprechend ihrer Bedeutung Schweregradkategorien versehen Zehn kosmetische Fehler sind wahrscheinlich weniger schwerwiegend als ein produktionsblockierender Fehler Das erh ht den berblick ber die Qualit t des getesteten Systems Kontrollpunkte 15 B 1 Die Abweichungen werden festgehalten und nach klaren und objektiven Richtlinien in Schweregradkategorien eingeteilt 15 B 2 Der Fortschritt einer jeden Testaktivit t wird periodisch und schriftlich dokumentiert u a Durchlaufzeit aufgewandte Stunden was ist spezifiziert was ist getestet was ist dabei korrekt und was nicht korrekt verlaufen und was muss noch getestet werden Abh ngigkeiten Testprozessmanagement Ebene B Planung Durchf hrung berwachung und Anpassung Einsatz des Phasenmodells Ebene A Planung Spezifikation und Durchf hrung Um den Fortschritt schriftlich festhalten zu k nnen muss dieser bekannt sein Das bedeutet dass der Testprozess verwaltet werden muss Dok
193. und Typenpr fung von der Spezifikationen der wichtigsten Systemkomponenten die mit Ebene 1 Formalismen erstellt wurden z B Sicherheitsrelevante Komponenten Wenn Sie bereits eine HiL Umgebung nutzen versuchen Sie basierend auf der Analyse der zu erwartenden Systemnutzung die bestehenden Einzeltestf lle zu Dauertestf llen zu kombinieren und f hren Sie auf diese Weise Statistische Anwendungstests ein Sogeti Deutschland GmbH Version 1 01 28 03 06 38 6 STATISCHE TESTTECHNIKEN Dynamisches Testen ist die Durchf hrung von Tests anhand einer funktionsf higen Software Dies ist jedoch nicht immer erw nscht oder m glich Wenn man nicht mit ausf hrbarer Software testet spricht man von statischem Testen Bei dieser Form des Testens handelt es sich um die Kontrolle und das Untersuchen von Produkten wie Dokumentation Verfahren Quellen usw Sie zielt mehr auf die Beurteilung von Ma nahmen zum Erreichen einer bestimmten Qualit t als auf die Qualit t selbst Die berpr fung ob ein Programmierstandard eingesetzt und eingehalten wird ist ein Beispiel f r eine statische Testtechnik Verschiedene Qualit tsmerkmale k nnen statisch getestet werden unter anderem Wiederverwendbarkeit Aktualisierbarkeit Portabilit t Sicherheit Statisches Testen ist im Allgemeinen kosteng nstiger und fr her als dynamisches Testen m glich Checklisten sind hierf r sehr brauchbare Hilfsmittel 6 A Detail berpr fung der Testbasis Beschre
194. ungen bei der Produktion aufweist als das andere oder weshalb der eine Testprozess schneller und gr ndlicher ist als ein anderer Bei der Optimierung des Testprozesses sind Metriken besonders n tzlich f r die Bewertung von Folgen oder Auswirkungen bestimmter Optimierungsma nahmen da sie Informationen von Zeitpunkten vor und nach dem Treffen der jeweiligen Ma nahmen miteinander vergleichen Es gibt zwei Vorgehensweisen anhand derer man Metriken erhalten kann top down und bottom up Bei der top down Vorgehensweise wird von den W nschen und Anforderungen des h heren Managements ausgegangen Eine sehr bekannte Form ist das goal question metric conzept von Basili Basili u a 1984 bei dem auf der Grundlage dieser Anforderungen und W nsche die Ziele aufgestellt werden Fragen werden formuliert um herauszufinden inwiefern die Ziele erreicht wurden woraufhin anschlie end die Metriken identifiziert werden um die Fragen zu beantworten Das ami Konzept Pulford u a 1995 bietet eine Methode um einen solchen Einsatz von Metriken zu implementieren Nachteil der top down Vorgehensweise ist dass das Management nicht immer wei welches die richtigen Ziele sind oder es nicht immer mit den Zielen einverstanden ist z B weil zuverl ssige Informationen h ufig fehlen ein typisches Huhn Ei Problem Auch sind Arbeiter nicht immer besonders enthusiastisch mitzuarbeiten da das Risiko besteht dass ihre Leistung in einer f r
195. unktioniert nicht mehr nachdem eine neue Version einer anderen Systemkomponente eingesetzt wird sollte in diesem Fall besonders bedacht werden Im Falle inkrementeller Entwicklung wird die Festlegung und Pflege eines Regressionstests viel Zeit sparen Der Regressionstest kann schrittweise f r jedes Inkrement aufgebaut werden In diesem Fall sollte man ber die Verwendung von Testtools nachdenken F hren Sie schlie lich eine vollst ndige Strategiebestimmung durch Um parametrisierte Software zu testen gibt es mehrere M glichkeiten Testen der Software unter Verwendung unterschiedlicher Parameters tze arbeitet die Software mit den eingestellten Parametern korrekt berpr fen oder Testen ob die unterschiedlichen eingesetzten Parameters tze korrekt sind sind die Parameter f r jede Situation korrekt eingestellt Wenn die Anzahl der m glichen Parameters tze zu hoch ist aufgrund einer gro en Variantenanzahl oder gro er regulatorischer Unterschiede zwischen verschiedenen L ndern ist eine Risikoabsch tzung notwendig um herauszufinden welche Parameters tze w hrend des Tests teilweise au er Acht gelassen werden k nnen Kommerzielle Standardsoftware hat im Vergleich zu individuell erstellter Software ein anderes Risikoprofil Als Faustregel sind die funktionalen Risiken tendenziell geringer da andere Anwender der Software wahrscheinlich bereits viele der bestehenden funktionalen Risiken gefunden haben Auf der
196. von Anforderungen Testtools Ebene B Durchf hrung und Analysetools Testengineering impliziert einen hohen Reifegrad des Testprozesses Das bedeutet dass der Testprozess fr h in das Projekt mit einbezogen wurde dass die verschiedenen einzelnen Testarten und Teststufen aufeinander abgestimmt sind und dass der Testprozess ausreichend automatisiert ist Berichterstattung Ebene C Risiken und Empfehlungen anhand von Metriken Zur Adressierung der in den Kontrollpunkten genannten Empfehlungen ist die Berichterstattung auf einer ausreichend hohen Managementebene erforderlich Optimierungsvorschl ge Werben Sie in der Organisation f r eine professionelle Testvorgehensweise Halten Sie Vortr ge f r die Entwickler und veranlassen und veranlassen Sie Schulungen im Bereich des Testens Sorgen Sie daf r dass die Funktionen Tester Testmanager usw als gesonderte Funktionen bei der Personalabteilung anerkannt werden Dazu geh rt eine umfangreiche Aufgabenbeschreibung Veranlassen Sie dass die Tester auch auf ihre spezifischen Testqualit ten hin beurteilt werden Bringen Sie beim funktionalen Entwurf und der Realisierung Aspekte ein die die Testbarkeit erh hen beispielsweise eingebaute Beobachtungs und Kontrollm glichkeiten Beobachtungsm glichkeiten sind Zeigen von Statusinformationen interne Programmvariablen Fortschrittsstatistiken Ablaufinformationen welchen Pfad hat die Software durchlaufen Sog
197. w rde normalerweise ein oder mehrere Verhalten aufzeigen Eine manuelle informale Pr fmethode um Fehler Defekte Unklarheiten und Probleme in schriftlichen Dokumenten zu identifizieren Der Autor pr sentiert das Dokument in einer Sitzung den Gutachtern Eine Kategorie von Testtechniken bei denen Testf lle mit Kenntnissen der internen Struktur des Objekts von den internen Eigenschaften eines Objekts abgeleitet werden Sogeti Deutschland GmbH Version 1 01 28 03 06 124 25 LITERATUR Beizer B 1990 Software Testing Techniques International Thomson Computer Press Binder R V 2000 Testing object oriented systems Models Patterns and Tools Addison Wesley Boehm B W 1981 Software Engineering Economics Prentice Hall Broekman E and Notenboom E 2003 Testing Embedded Software Addison Wesley Hetzel B 1993 Making Software Measurement Work Building an Effective Measurement Program Qed Software Evalutation Kaner C Falk J Nguyen H Q 1999 Testing Computer Software 2nd Edition Wiley Koomen T Pol M 1999 Test Process Improvement A practical step by step guide structured testing Addison Wesley Pulford K Kunntzmann Combelles A and Shirlaw S 1996 The ami handbook A quantitative approach to software management Addison Wesley Rushby J 1995 Formal methods and their Role in the Certification of Critical Systems Computer Science Laboratory SRI International Sogeti Deutschlan
198. werden insbesondere Ziel Betrachtungsbereich und Vorgehensweise des nderungsprozesses bestimmt Sollte das Testen kosteng nstiger schneller oder besser werden Welche Teststufen und welche Testprojekte werden betrachtet Wie viel Zeit steht f r die Verbesserungsma nahmen zur Verf gung Welche Kosten werden veranschlagt bzw welches Budget steht zur Verf gung Ausf hrung der Analyse Bei der Analyse werden die wichtigen und weniger wichtigen Aspekte der aktuellen Situation aufgenommen Der Einsatz des TPI Automotive Modells ist ein wesentlicher Bestandteil der Analyse da das Modell einen Rahmen bietet anhand dessen die genannten wichtigen und schwachen Aspekte des untersuchten Testprozesses aufgenommen werden k nnen Auf der Grundlage der gesammelten Informationen werden f r jeden Kernbereich des TPI Automotiv Modells gesondert anhand der Kontrollpunkte die Ebenen bestimmt und es wird festgelegt bei welchen Kontrollpunkten ganz teilweise oder nicht entsprochen wurde Die TPI Matrix wird eingesetzt um die Situation des Testprozesses im berblick darzustellen Die Matrix zeigt die St rken und Schw chen des Testprozesses eindeutig auf indem die jeweils erreichten Ebenen pro Kernbereich in der Matrix eingef rbt werden Definition der Optimierungsma nahmen Auf der Grundlage der Optimierungszielsetzungen und dem Ergebnis der Analyse werden die Optimierungsma nahmen ermittelt Die Ma nahmen werden so definiert dass eine al
199. zelne wiederum spezifische Testumgebungen erfordert Typische Komponenten einer Testumgebung sind Vorl ufige Hardwareversionen Prototypen Simulatoren sowohl f r Hardware als auch f r Software Komponenten Stubs und Treiber Tools um Inputdaten f r den Test zu erzeugen und zu steuern Tools um Outputdaten der Tests zu erfassen und zu kontrollieren Einrichtungen f r die Ablage und Verwaltung der Testware HiL MiL SiL Breadboards Verfahren Fahrzeugprototypen Was genau in einer Testumgebung ben tigt wird h ngt von der Stufe im Entwicklungsprozess ab In fr hen Entwicklungsstufen wenn nur Modelle existieren und noch keine Hard oder Software muss die Testumgebung aus einer Modellierungsumgebung mit M glichkeiten f r Statische und Dynamische Tests von Modellen ausgestattet sein Recht bald darauf wenn ein Testboard zur Verf gung steht kann die Software in einer Rapid Prototype Umgebung in einem Prototypfahrzeug getestet werden In sp teren Stufen werden Software und Prototypen der Hardware verf gbar sein und die Testumgebung muss verschiedene Simulatoren enthalten die andere Systemkomponenten ersetzen und die die Interaktion mit der realen Welt simulieren Typisch f r diese Art von Tests ist die HiL Umgebung Letztendlich muss es die Testumgebung erlauben das reale System in seiner realen Umgebung zu testen in dieser Phase wird ein Vorserienfahrzeug als Testfahrzeug verwen
200. zelnen Komponenten in ein Gesamtsystem einschlie lich Integrationstests Rolle des Integrators 21 A 2 Die Reihenfolge der Auslieferung von dem den Lieferanten zum Testen wurde im Voraus festgelegt und dokumentiert 21 A 3 Die Integrations und Testabfolge sowohl f r die Hardware als auch f r die Software die sogenannte Integrationsstrategie wurde im Voraus auf Basis der Software Architektur und des Lieferplans der Komponenten definiert und dokumentiert Diese Planung beinhaltet Sogeti Deutschland GmbH Version 1 01 28 03 06 109 Aktivit ten Abh ngigkeiten Meilensteine 21 A 4 Die bergabe an und vom Testteam findet nach einer Standardprozedur statt Der Gegenstand der bergabe ist bekannt und in Form eines bergabeberichts reproduzierbar beschrieben Welche Komponenten und Versionen des Testobjekts welche Version der Testbasis nicht gel ste Abweichungen Konfiguration 21 A 5 Im Falle von Abweichungen vom Plan z B Sp tlieferung der Komponenten werden Anpassungen vorgenommen Die Abweichungen werden begr ndet Abh ngigkeiten Testfunktionen und Training Ebene A Testmanager Integrator und Tester Testprozessmanagement Ebene B Planung Durchf hrung berwachung und Anpassung Optimierungsvorschl ge Beginnen Sie damit fr hzeitig einen Integrator zu benennen der verantwortlich f r die Integration der Komponenten und das Testen ist Sorgen Sie daf r dass diese Person eine

TPI_Automotive_Version _deutsch_

Contents

Download Pdf Manuals

Related Search

Related Contents