Software Testers Welcome Pack

1. Die Einstiegsseite fuer Software Tester - [DE]

Hallo angehender Software-Tester,

Wir haben eine allgemeine Einstiegsseite fuer alle Software Tester.

Die Seite ist zu finden unter:

Diese Seite enthaelt neben den Informationen ueber die aktuell auf dem Testserver eingespielten aktuellen Patches auch weitere Informationen wie allgemeine Links zu Dokumentationen, FAQ's, einen Ueberblick ueber das aktuelle Testteam und Verweise auf Seiten der bereits gelaufenen Tests.

Auf dieser Seite findet ihr auch Infos ueber den augenblicklichen Status des Testservers (Online, In Maintenance Mode, oder dergleichen).

Am Anfang der Seite findet ihr eine Link Sammlung aller Links die ihr als Software Testers benoetigt. Wie den Link zum Testserver, den Link zum Testserver-Management-System (dazu spaeter mehr), oder auch allgemeine Hilfe Seiten - Wie lege ich einen Account an ?

Diese Seite wird vom Testteam Leader bzw. durch die Software-Assessors gepflegt und auf dem laufenden gehalten.

Detailierte Infos zu Bugs und Patches werden in der Regel ueber das Bugs Reporting System bugs.cacert.org (Mantis) zur Verfuegung gestellt. Darueber hinaus koennen aber zusaetzliche Infos auf zusaetzlichen Wiki Seiten zur Verfuegung gestellt werden, die dann im Zusammenhang eines bestimmten Bugs erstellt werden. Die Links hierzu werden, sofern zusaetzliche Seiten erstellt wurden, in dem Remark Feld des jeweiligen Bugs zur Verfuegung gestellt.

Die Tester-Einstiegsseite liefert eine Uebersicht ueber die zur Verfuegung stehenden Testserver (derzeit ist im kontrollierten Bereich nur 1 Server aktiv).

Zu jedem Testserver gibt es eine Uebersicht ueber die zusaetzlich zum Produktiv System darueber hinausgehenden eingestellten Patches in tabellarischer Form.

Jeder Patch muss mit einer bugs.cacert.org Bug-Nummer versehen sein (.1), hinter der sich der Link zum jeweiligen Patch im Bugs Reporting System verbirgt. Das ist einmal die Quelle fuer zusaetzliche Informationen ueber den eigentlichen Bug, und zum anderen das Reporting System fuer die Tester.

Jeder Report wird als zusaetzliche Notiz in den Bug Report eingetragen.

Von Zeit zu Zeit pruefen die Software-Assessors den Teststatus eines Patches auf gelieferte Reports. Sind noch nicht ausreichend Reports geliefert worden, dauert der Teststatus an.

Die erste Zeile liefert darueber hinaus noch 2 weitere Statusinformationen:

  1. Aktueller Status des Patches (Spalte 2)
    1. Patch - Patch ist momentan im vollen Teststadium
    2. {-} Patch - Der Patch wurde abgelehnt, ist momentan auf Hold gesetzt, ein Update wird erwartet bevor weiter getestet werden kann, so das die augenblicklichen Tests fuer diesen Patch ausgesetzt sind
    3. {0} Patch - Der Patch wurde getestet und wir warten gerade darauf, das ein Software-Assessor einen Review durchfuehrt und den Patch zum Critical Team ueberstellt. Zusaetzliche Tests koennen zwar durchgefuehrt werden, aber es macht sicherlich nicht viel Sinn andere Patches, die noch getestet werden muessen hintenanzustellen ...
    4. {b} Patch - Der Patch wurde bereits getestet und steht derzeit unter Review durch einen Software-Assessor oder wurde bereits auf das Critical System ueberfuehrt. Weitere Tests sind derzeit nicht notwendig. Dieser Patch wird sicherlich aus der Liste der aktiven Patches verschwinden

  2. Spalte 3: (Update 2011-09-27) {*}

    1. Das Datum wann das letzte Update auf den Testserver gestellt wurde - dies kommt gelegentlich vor. Der Patch wurde bereits getestet, benoetigt aber noch einmal einen kompletten neuen Re-Test

    2. {*} markiert die Schwierigkeitsstufe fuer den Test / des Patches. 1 Stern {*} ist ein einfacher Patch / Test, 5 Sterne {*} {*} {*} {*} {*} (Maximum) ist ein schwieriger Test. Entweder wird ein erweitertes Testszenario benoetigt, oder aber der Test benoetigt eine Vielzahl an Testrunden, Spezialzugriffsrechte oder spezielle Einstellungen, die nicht mit einfachen Mitteln bereitgestellt werden koennen. Meist gibt es hierfuer eine erweiterte Beschreibung, entweder im Bug Report selbst oder ueber eine zusaetzliche Wiki Seite, die bei den Vorbereitungen zu dem Test hilfreich sein koennen.

Zu jedem Bug/Patch ist der Entwickler / Maintener benannt (.2), an den man sich neben dem Testteam Leader oder anderen Testern noch vertrauensvoll wenden koennte, wenn es Probleme mit dem Patch gibt.

Eine Kurzbeschreibung des eigentlichen Bugs/Patches (.3) wie er im Bug System hinterlegt ist

Unter (.4) sind zusaetzliche Informationen fuer die Tester, welchen Bereich in der Software der Bug/der Patch betrifft. Beispiel: Assure Someone - Jemanden Assuren, Organisations Assurance oder andere Bereiche. Dies dient als Einstiegshilfe um den Bereich zu finden, in dem Patches vorgenommen wurden.

Fuer manche Patches muessen bestimmte Vorraussetzungen erfuellt sein (.5), damit man ueberhaupt in die Richtung vorstossen kann, in denen Patches vorgenommen wurden. Beispielsweise koennten das sein: Patches fuer Support-Engineers. Hierzu muss man fuer den Testuser mit dem man den Test vornimmt das Admin Flag gesetzt sein, damit man ueberhaupt mit diesem User den Status "Support-Engineer" erreicht. Wie das funktioniert, spaeter mehr.

Unter Remarks (.6) finden sich zusaetzliche Hinweise zum Patch. Entweder was zu testen ist, oder was man aendern muss um einen Patch zu Gesicht zu bekommen, oder wo weitere Infos zu finden sind usw.

Von Zeit zu Zeit werden zusaetzliche Patches bereitgestellt. Um die Uebersicht zu behalten, gibt es eine Markierung der Neuesten Patches mittels eines (!) Wenn also ein Patch in der ersten Testrunde Fehler aufgezeigt wurden, und diese Fehler in der Zwischenzeit behoben wurden, erhalten die neu eingestellten Updates vor der Bug-Nummer (Feld .1) ein (!) fuer den Status Updated

Da derzeit der Aufbau der Testserver Umgebung sich immer noch in Entwicklung befindet, gibt es in der Liste der aufgefuehrten Bugs und Patches auch mindestens einen "Dauer-Bug": Bugs # 835, der so schnell auch nicht verschwinden wird. Dieser Bug ist nur als Hinweis dafuer zu verstehen, das derzeit saemtliche Zertifikats-Erstellungs-Funktionen noch ausser Betrieb sind. Soll heissen: Die Funktionen Erstelle Client Zertifikat, Erstelle Server Zertifikat, Zertifikats Login funktionieren derzeit nicht, solange nicht die "Signer-Implementierung" fuer den Testserver abgeschlossen ist. Das bedeutet auch, das derzeit keine Patches getestet werden koennen, die in diesem Bereich Fehler beheben sollen. Ok, das soweit nur als Randbemerkung. In der Zwischenzeit wurde der "Signer" aktiviert, so das (Test) Zertifikate mit dem Testserver erstellt werden koennen. Eigentlich koennen alle Funktionen mit Zertifikaten durchgefuehrt werden, bis auf die Anmeldung an einem (Test) CATS Server. Daher muss weiterhin die "bestandene CATS Pruefung" ueber den Umweg Testserver-Management-System fuer den jeweiligen Useraccount eingestellt werden.

Was ist zu testen ?
Sofern nicht in der Bug/Patch Info Hinweise geliefert wurden, was eigentlich zu testen ist, sind den Testern keine bestimmten Vorgaben gesetzt, was und wie sie einen Patch austesten. Sei es mit unterschiedlichen Browsern, sei es mit unterschiedlichen System Einstellungen (Punktestand, Flag-Einstellungen, etc).

Hier kann nur der prinzipielle Weg beschrieben werden, wie man zum Testen kommt:

  1. Einstellung einer Testumgebung
    1. Erstelle Test Accounts (ggf. nach Vorgabe)
    2. Stelle die Punkte Einstellungen und Flag-Einstellungen fuer den Testaccount her
  2. Starte mit den Tests
  3. Reporte deine Test Ergebnisse im Bugs System

Generell sei noch angemerkt, dient das Produktiv System als Vergleichs System. Funktioniert das, was unter dem Testsystem nicht funktioniert auf dem Produktivsystem ? Wenn ja, dann ist es ein Problem des Patches, wenn nein, dann ist das ein genereller Bug zu dem es ggf. bereits einen Bug Report gibt. Wenn nicht, erstelle einen neuen Bug Report. Ein Nachteil hat dieses Verfahren: bei speziellen Patches, beispielsweise in dem Bereich Organisations Assurance hat man selbst auf dem Produktiv System keinen Zugriff. Da kann man dann nichts vergleichen. (Ok, waere evtl. ein Thema fuer das Software-Assessment Project Team, ggf. einen Vergleichsserver zur Verfuegung zu stellen, der das Produktiv System spiegelt.)


Euer
Testteam Teamleader


Wie geht es weiter ?

Software Testteam Welcome Pack

Software/TestTeam/WelcomePack/01-TestersEntryPage/DE (last edited 2011-10-05 23:04:57 by UlrichSchroeter)