End-to-end Test Orchestrierung
Problem
Software-Testing ist bereits größtenteils automatisiert, dazu sind verschiedene Test-Technologien im Einsatz. Aufwand für Wartung der automatisierten Tests ist hoch. Dennoch werden Bugs oft erst spät identifiziert. Qualität und Mehrwert des automatisierten Testens ist nicht klar darstellbar.
Lösung
Schlanke, wartbare Test-Pipelines, die Tests über Tools hinweg orchestrieren und Ergebnisse unterschiedlicher Tests übersichtlich zusammenführen schaffen end-to-end Sicht. So werden wiederholte Problemstellen sichtbar und schrittweise Verbesserung möglich.
Das Problem
- Mehrere Testing-Tools werden eingesetzt. Zusammenführung der Ergebnisse und Orchestrierung der Tests ist aufwändig. Viel Zeit und Aufwand wird in die Entwicklung und Wartung von Test-Pipelines investiert.
- Viele Ressourcen werden in Test-Automatisierung investiert. Es ist nicht klar darstellbar, ob und wie dieser Ressourceneinsatz zur Qualität im Testing und in der Software beiträgt.
- Tester:innen beschäftigen sich mit Test-Orchestrierungs-Pipelines oder DevOps Expert:innen unterstützen in der Test-Automatisierung, ohne Einblick in die Logik der Tests. In beiden Fällen sind die Ergebnisse suboptimal da Expertise im jeweils anderen Bereich fehlt. Ergebnis sind brüchige Pipelines mit langen Laufzeiten.
- Prozessprobleme im Testing führen dazu, dass fehlgeschlagene Tests häufig übersehen oder ignoriert werden, wodurch der Mehrwert von automatisiertem Testen sinkt.
- Manche Tests sind nur teilautomatisiert, da sie z.B. spezielle Testdaten brauchen oder auf spezieller Infrastruktur durchgeführt werden müssen. Da aufwändig, werden diese Tests nur selten durchgeführt. So werden manche Bugs erst spät identifiziert und ihre Behebung dadurch sehr teuer.
Die Lösung
- Unsere erfahrenen Expert:innen unterstützen Sie bei der schrittweisen end-to-end Orchestrierung Ihrer Test Pipelines in der hochflexiblen Cloudomation Engine-Plattform.
- Durch unsere Erfahrung mit Test-Orchestrierung erkennen wir schnell Flaschenhälse und potentielle Problemstellen in bestehenden Pipelines und empfehlen Verbesserungen.
- End-to-End Sicht der gesamten Test-Pipeline zeigt, wo Probleme auftreten und machen zielgerichtete Verbesserungen möglich. Durch Messzahlen für die gesamte Pipeline wird Status und Fortschritt messbar.
- Funktionierende Automatisierungen bleiben bestehen. Es wird dort angesetzt, wo Test Pipelines zu langsam oder brüchig sind. Verbesserungen werden schrittweise umgesetzt, sodass schnell ein Mehrwert spürbar wird.
- Dank breiter Integrations- und Automatisierungsfunktionalität können sämtliche Test-Tools zusammengeführt und Ergebnisse einheitlich aufbereitet werden.
- Auch spezielle Test-Szenarien (z.B. mit Erstellung von Test-Daten oder auf spezieller Infrastruktur) werden vollständig automatisiert. So können Sie mit wenig Aufwand häufig durchgeführt werden. Bugs werden früh erkannt und schnell behoben.
So funktioniert es
Hochflexible Plattform für Test-Orchestrierung: dank breiter Integrationsfunktionalität können nahezu alle Testing-Tools über Cloudomation Engine orchestriert werden. Das heißt, dass in Cloudomation Engine die Ablauflogik der Tests inklusive eventueller Abhängigkeiten definiert werden, die Tests selbst aber in den jeweils spezialisierten Testing-Tools durchgeführt werden. Die Ergebnisse der Tests können von Cloudomation Engine aus den einzelnen Testing-Tools abgefragt und übersichtlich an einem Ort präsentiert werden.
Anbindung bestehender Tools: Die Teile Ihrer Test-Pipelines, die bereits gut funktionieren, können weiter genutzt und über Cloudomation Engine orchestriert – also angestoßen – werden.
Übersicht und Messbarkeit: Durch die End-to-End Automatisierung der gesamten Test-Pipeline wird ein Überblick über die gesamte Test-Kette möglich. Kennzahlen z.B. zu häufig fehlgeschlagenen Tests nach verschiedenen Variablen (z.B. branch, Zielumgebung, committer) können berechnet werden, wodurch Problemstellen sichtbar und damit zielgerichtete Verbesserungen möglich werden.
Schrittweise Umsetzung: Um mit bestehenden Ressourcen schnell einen Mehrwert zu schaffen, unterstützen wir tatkräftig bei der Planung und Umsetzung der ersten Schritte zur Optimierung Ihres Testings. Dabei identifizieren wir gemeinsam erste Ansatzpunkte, bei denen wir schnell Verbesserungen umsetzen können, sowie einen schrittweisen Plan für die Weiterentwicklung Ihrer end-to-end Test Orchestrierung, den Sie mir Ihren bestehenden Ressourcen umsetzen können. Ziel ist es, Ihnen zu Beginn zu helfen, rasch erste Ergebnisse zu sehen und Ihr Team zur selbständigen Weiterarbeit mit Cloudomation Engine zu befähigen, sodass Optimierung Ihrer Test-Pipelines ein kontinuierlicher Prozess bleibt, den Sie selbständig durchführen können.
Das Ergebnis
Verbesserte Qualität der Software, nicht nur höhere Test-Coverage:
- Berechnung ergebnisorientierter Kennzahlen (z.B. Kosten für Bug-Fixing nach Komponente etc.) erlaubt sinnvolle Priorisierung von Tests.
- End-to-end Überblick und Messungen über die Zeit zeigen, warum manche Probleme hartnäckig bestehen, wodurch zielgerichtete Verbesserung möglich wird.
Schrittweise Verbesserung mit vorhandenen Ressourcen anstatt großer Einzelprojekte:
- Entwickeln Sie einen Werkzeugkasten, mit dem sie ihr Testing mit vorhandenen Ressourcen kontinuierlich verbessern, anstatt auf große Projekten unklarem Ergebnis zu setzen.
- So kann Ihr Testing mit veränderten Anforderungen mitwachsen.
Interne Expertise aufbauen:
- Unsere Expert:innen unterstützen Sie bei jedem Schritt.
- Wir schulen Ihr Team in best-practices rund ums Testen.
- Sie bekommen nicht nur ein Tool sondern das Wissen, wie Sie es bestmöglich einsetzen.