Handbuch – Administration

Dieser Handbuchabschnitt richtet sich an Administrator*innen, die dafür verantwortlich sind Tests im BKT Manager zu konfigurieren.

Die Administrationsoberfläche des BKT-Managers dient zum Anlegen und Bearbeiten von Tests, der Übertragung von Anmeldedaten zu einer Testcenter-Instanz und der Konfiguration von Rückmeldungen für Lehrkräfte und Schüler*innen.

Die Administrationsoberfläche ist in die Tabs "Tests", "Varianten", "Testtypen", "Jobs", "Anmeldungen", "Manuale", "Einstellungen" und "Testcenter" gegliedert. Die folgenden Aktionen können in der Administrationsoberfläche erledigt werden:

• Anlegen und Bearbeiten von Testtypen
• Anlegen und Bearbeiten von Testvarianten
• Anlegen und Bearbeiten von Tests
• Synchronisation von Anmeldedaten mit dem Testcenter
• Synchronisation von Testdaten mit dem Testcenter
• Hintergrundprozesse überwachen
• Verwaltung von Klassenanmeldungen
• Konfiguration von Rückmeldungen, Auswertungen und Förderhinweisen
• Verwaltung von Manualen
• Sonstige Einstellungen
• Testcenter-Statusinformationen abrufen

1. Testverwaltung

Im BKT-Manager werden Tests über drei Ebenen beschrieben:

• Ein Testtyp ist eine Kombination aus Fach und (optional) Domäne, z. B. "Deutsch (Lesen)". Am Testtyp werden die Rückmeldungen konfiguriert (siehe Abschnitt 3).
• Eine Testvariante gehört zu einem Testtyp und legt fest, welche Testhefte (Booklets) im Testcenter verwendet werden. Werden zu verschiedenen Messzeitpunkten unterschiedliche Testhefte eingesetzt, wird für jede Fassung eine eigene Testvariante angelegt.
• Ein Test (Messzeitpunkt) verwendet eine Testvariante und legt fest, in welchem Zeitraum sich Klassen anmelden und den Test durchführen können.

Alle Tests werden in einem gemeinsamen Workspace des Testcenters verwaltet. Die ID dieses Workspaces wird bei der Installation konfiguriert.

1.1 Anlegen und Bearbeiten von Testtypen

Um einen neuen Testtyp anzulegen, gehen Sie auf den Tab "Testtypen" und klicken Sie auf "Neuer Testtyp".

Geben Sie unter Fach und Domäne an, für welches Fach und welche Domäne der Testtyp gilt. Die Domäne ist optional.

Unter Messungen wird die Anzahl der Messzeitpunkte angegeben, die für diesen Testtyp insgesamt durchgeführt werden sollen.

Unter Gesamtscore-Berechnung wählen Sie aus, wie der Gesamtscore eines Tests aus den Scores der einzelnen Feedback-Gruppen berechnet wird. Bei Mittelwert wird ein gewichteter Durchschnitt berechnet, bei Summe eine gewichtete Summe. Die Gewichtung wird an der jeweiligen Feedback-Gruppe festgelegt.

Mit einem Klick auf das -Symbol ("Bearbeiten") können Sie einen bestehenden Testtyp bearbeiten, mit dem -Symbol ("Löschen") können Sie ihn löschen.

Über "Details" gelangen Sie zur Konfiguration der Rückmeldungen für den Testtyp (siehe Abschnitt 3). Wie Testtypen zwischen verschiedenen Instanzen des BKT-Managers übertragen werden können, ist in Abschnitt 3.5 beschrieben.

1.2 Anlegen und Bearbeiten von Testvarianten

Um eine neue Testvariante anzulegen, gehen Sie auf den Tab "Varianten" und klicken Sie auf "Neue Testvariante".

Wählen Sie unter Testtyp aus, zu welchem Testtyp die Variante gehört.

Unter Testhefte geben Sie die Booklet-IDs der Testhefte an, die im Testcenter für diese Variante verwendet werden. Geben Sie dabei eine Booklet-ID pro Zeile ein. Die Testhefte müssen im Workspace des Testcenters vorhanden sein.

Unter Ignorierte Testhefte können Sie Booklet-IDs angeben, deren Antwort- und Logdaten beim Import aus dem Testcenter nicht berücksichtigt werden sollen. Geben Sie auch hier eine Booklet-ID pro Zeile ein.

Über die Symbole in der Tabellenzeile können Sie eine Testvariante bearbeiten oder löschen.

1.3 Anlegen und Bearbeiten von Tests

Um einen neuen Test zu erstellen oder einen bestehenden zu bearbeiten, gehen Sie in der BKT Manager Administration auf den Tab "Tests" und führen Sie die folgenden Schritte aus:

1. Test anlegen: Klicken Sie auf den Button "Test hinzufügen" und füllen Sie das Formular im Popup aus. Der Test erscheint anschließend in der Tabelle.
2. Testheft hochladen: Besuchen Sie das Testcenter, loggen Sie sich als Admin ein, wählen Sie den BKT-Workspace aus und laden Sie in diesen das Testheft (Booklets, Units und Player), sofern es dort noch nicht vorhanden ist.
3. Testvariante zuordnen: Die Booklet-IDs eines Tests werden über die Testvariante festgelegt. Legen Sie vorab eine Testvariante mit den gewünschten Booklet-IDs an und wählen Sie diese im Testformular über die Felder "Testtyp" und "Testvariante" aus.
4. Anmeldedatei hochladen: Klicken Sie auf das -Icon, um eine Datei mit den angemeldeten Schüler*innen und Lehrer*innen zu erstellen und ins Testcenter hochzuladen (siehe Abschnitt 1.4).

Im Testformular legen Sie neben Testtyp und Testvariante den Anmeldezeitraum (Anmeldungsstart und -ende) und den Testzeitraum (Teststart und -ende) fest.

Unter Rückmeldemetriken können optional Standardwerte überschrieben werden, die zur Ausgabe von Detailhinweisen für einzelne Schüler*innen verwendet werden (z. B. Schwellenwerte, Subtest-Abweichungen). Die Werte werden im JSON-Format angegeben, z. B. { "subtestDelta": 8, "highScoreThreshold": 35 }. Mit "unifiedIndividualFeedback": true wird außerdem für jede Schülerin und jeden Schüler eine gemeinsame Individualrückmeldung über alle Feedback-Gruppen erstellt, anstatt einer Individualrückmeldung pro Feedback-Gruppe.

Tests, die vor der Umstellung auf einen gemeinsamen Testcenter-Workspace angelegt wurden, sind in der Tabelle mit "Legacy" gekennzeichnet. Für diese Tests findet keine Synchronisation mit dem Testcenter mehr statt.

1.4 Synchronisation von Anmeldedaten mit dem Testcenter

Wenn sich Klassen für den Test angemeldet haben, können Sie deren Anmeldedaten über den BKT Manager in das Testcenter hochladen. Das ist notwendig, damit sich die Teilnehmenden im Testcenter anmelden und den Test durchführen können. Klicken Sie dafür in der Tabellenzeile Ihres Tests auf den -Button ("Testtaker-Dateien erstellen").

Nachdem die Anmeldedaten für einen Test einmal initial hochgeladen wurden, werden danach angemeldete Klassen und Änderungen an bestehenden Anmeldungen automatisch mit dem Testcenter synchronisiert. Auch nach dem Bearbeiten eines Tests werden die Anmeldedaten automatisch aktualisiert.

Den aktuellen Synchronisationszustand eines Tests können Sie durch Ausklappen der Tabellenzeile anzeigen. Dort sehen Sie, welcher Workspace verwendet wird, ob die Testtaker-Dateien bereits hochgeladen wurden und wie viele Dateien hochgeladen wurden.

1.5 Synchronisation von Testdaten mit dem Testcenter

Um alle Antwort- und Logdaten eines Tests in die Datenbank des BKT Managers zu importieren, können Sie den -Button ("Daten aus Testcenter laden") nutzen. Damit werden die Daten aller Klassen, die den Test durchgeführt haben, aus dem Testcenter importiert. Für den regulären Betrieb ist dies nicht notwendig, da die Daten einer Klasse automatisch importiert werden, wenn eine Lehrkraft die jeweilige Rückmeldung aufruft. Um jedoch einen Überblick über den Durchführungsfortschritt des Tests zu bekommen oder Berechnungen auf Grundlage der Daten in der Datenbank des BKT Managers durchzuführen, empfiehlt sich ein Import aller Daten. Damit kann ausgeschlossen werden, dass Daten von Klassen fehlen, deren Rückmeldungen noch nicht durch die Lehrkräfte betrachtet wurden.

1.6 Hintergrundprozesse überwachen

Die Synchronisation von Anmeldedaten und der Import von Antwort- und Logdaten werden im Hintergrund ausgeführt. Im Tab "Jobs" erhalten Sie eine Übersicht über diese Hintergrundprozesse. Für jeden Job werden die Parameter, der Status (z. B. wartend, aktiv, abgeschlossen oder fehlgeschlagen), der Fortschritt sowie der Zeitpunkt der Erstellung, des Beginns und des Endes angezeigt. Ist ein Job fehlgeschlagen, wird zusätzlich die Fehlermeldung angezeigt. Fehlgeschlagene Jobs werden automatisch erneut versucht.

2. Verwaltung von Klassenanmeldungen

Auf der "Anmeldungen"-Seite können Sie alle Klassenanmeldungen für alle Tests betrachten. Jede Anmeldung wird als eine Zeile in der Tabelle angezeigt. Über einen Klick auf eine der Tabellenspaltenüberschriften können Sie die Tabelle nach der jeweiligen Spalte sortieren.

Mit einem Klick auf den -Button ("Testzeitraum bearbeiten") können Sie den Zeitraum in dem die ausgewählte Klasse den Test durchführen kann, individuell anpassen.

Wenn der Testzeitraum für eine Klasse angepasst wurde, wird das angepasste Datum in der Tabelle mit "(angepasst)" markiert.

Mit einem Klick auf das -Symbol ("Anmeldung löschen") können Sie die entsprechende Anmeldung löschen. Damit werden sowohl die Testdaten (Antwort- und Logdaten), als auch die Anmeldedaten aus der Datenbank des BKT Managers und des Testcenters gelöscht.

Wenn Sie auf das -Symbol ("Antworten zurücksetzen") klicken, können Sie alle Antwort- und Logdaten aus der Testcenter- und BKT-Manager-Datenbank löschen. Die Anmeldedaten der Anmeldung bleiben dabei aber erhalten. Das heißt, dass sich die Klasse weiterhin im Testcenter anmelden kann und den Test erneut durchführen kann.

3. Konfiguration von Rückmeldungen, Auswertungen und Förderhinweisen

Für jeden Testtyp können Metadaten konfiguriert werden, die in den Rückmeldungen an die Lehrkräfte und Schüler*innen verwendet werden. Außerdem können Förderhinweise angelegt werden, die in den Rückmeldungen bestimmten Ergebnisbereichen zugeordnet werden. Einstellungen, die Sie für einen Testtyp vornehmen, gelten für alle Tests dieses Testtyps.

Klicken Sie im Tab "Testtypen" in der Zeile des gewünschten Testtyps auf "Details". Dort können Sie in den Tabs Subtests, Feedback-Gruppen, Materialien und Details die Rückmeldung für den Testtyp konfigurieren.

In der Lehrkräfterückmeldung werden Feedbackgruppen als Tabs für verschiedene Testteile (in der Grafik oben mittig mit 1 markiert), Subtests für Teilaufgaben in einem Testteil (in der Grafik oben links mit 2 markiert) und zu den Feedbackgruppen gehörende Materialien als Förderempfehlungen dargestellt (in der Grafik rechts mit 3 markiert).

Die folgende Übersicht zeigt den Zusammenhang von Testtypen, Feedbackgruppen, Subtests und Materialien am Beispiel eines Mathematik-BKTs:

Es gibt einen Testtyp, der den gesamten Mathematik-Test repräsentiert, an dem die Schüler*innen teilnehmen.

Die einzelnen Teilaufgaben des Tests werden als Subtests dargestellt. Wenn die Ergebnisse mehrerer Teilaufgaben zu einem Gesamtergebnis zusammengefasst werden sollen, können Subtests verschachtelt werden. So gibt es im Beispiel oben einen Elternsubtest "Addition", der sich aus den Kindsubtests "Addition 1" und "Addition 2" zusammensetzt.

Zur Darstellung in den Lehrkräfterückmeldungen werden Feedbackgruppen angelegt. Eine Feedbackgruppe entspricht dabei einem Teilbereich des Tests, der auf einer Seite in der Rückmeldung dargestellt wird. Einer Feedbackgruppe wird ein oder mehrere Subtests zugeordnet. Aus den Ergebnissen der zugeordneten Subtests berechnet sich der Gesamtscore der Feedbackgruppe. Im Beispiel gibt es einmal die Feedbackgruppe "Addieren und Subtrahieren", die sich aus den Subtests "Addition" und "Subtraktion" zusammensetzt und die Feedbackgruppe "Stellenwertverständnis", die nur aus einem Subtest "Zahlen in Stufenschrift" besteht.

Den Feedbackgruppen können individuell Materialien zugeordnet werden, die zur Förderung dieses Bereichs bestimmt sind.

3.1 Subtests hinzufügen

Ein Subtest ist ein Teilbereich eines Tests, für den eine Auswertung stattfindet. Es kann sich dabei um eine Testunit handeln oder um eine Aggregation mehrerer Units. Zum Aggregieren mehrerer Units wird ein Elternsubtest angelegt, dem mehrere Kindsubtests zugeordnet werden, die sich auf jeweils eine Testunit beziehen.

Klicken Sie zum Anlegen eines Subtests auf "Subtest hinzufügen".

Geben Sie im Feld Name einen Anzeigename für den Subtest an, z. B. Satzverständnis. Dieser wird in der Rückmeldung zur Anzeige des Subtests verwendet.

In Aggregierungstyp können Sie auswählen wie Kind-Subtests zusammengefasst werden sollen. Diese Option ist nur für Eltern-Subtests mit Kind-Subtests sinnvoll.

Unter Ergebnistyp kann ausgewählt werden, wie das Ergebnis aus den Rohergebnisdaten der Unit berechnet werden soll. Bei "Richtig - Falsch" wird die Differenz aus richtigen und falschen Antworten als Ergebnis verwendet. Bei "Richtige" ist das Ergebnis die Anzahl der richtigen Antworten. Die falschen Antworten werden in diesem Fall bei der Ergebnisberechnung nicht berücksichtigt.

Unter Eltern-Subtest kann ein bereits bestehender Subtest ausgewählt werden, in dem die Ergebnisse des neuen Subtests und weiterer aggregiert werden.

Unter Unit IDs für Testvarianten müssen die Unit-IDs konfiguriert werden, außer es handelt sich um einen Eltern-Subtest. Geben Sie an welche IDs für die Unit im Testcenter verwendet werden. Diese werden verwendet, um die Testcenter-Ergebnisse dem Subtest zuzuordnen. Da sich die Testhefte der verschiedenen Testvarianten in der Regel unterscheiden, muss die Unit-ID für jede Testvariante des Testtyps einzeln angegeben werden.

3.2 Feedback-Gruppen hinzufügen

Nach dem Anlegen von Subtests können Sie Feedback-Gruppen anlegen. Eine Feedback Gruppe bündelt einen oder mehrere Subtests und stellt diese gemeinsam in einem Panel in der Lehrkräfterückmeldung dar.

Um eine neue Feedback-Gruppe anzulegen, klicken Sie auf "Feedback-Gruppe hinzufügen".

Geben Sie bei Name einen Anzeigename an, der in der Lehrkräfterückmeldung verwendet wird.

In Erklärung für Lehrkräfte kann optional ein Text hinterlegt werden, der das Konstrukt, das in der Feedback Gruppe dargestellt wird, für Lehrkräfte erklärt. Dieser wird im Hilfebereich der Lehrkräfterückmeldung angezeigt. Sie können HTML verwenden, um den Text zu formatieren.

Wählen Sie unter Subtests auswählen die Subtests aus, die in dieser Feedback Gruppe gebündelt werden sollen.

Im Feld Aggregations-Typ wählen Sie aus, wie der Gesamtscore für die Subtests der Feedback-Gruppe berechnet werden soll. Bei Durchschnitt wird ein Durchschnitt von den Ergebnissen aller ausgewählter Subtests berechnet, bei Summe, werden die Ergebnisse addiert.

Mit der Gesamtscore-Gewichtung legen Sie fest, wie stark die Feedback-Gruppe in den Gesamtscore des Tests eingeht. Wie der Gesamtscore berechnet wird, wird am Testtyp festgelegt.

Unter Scoring-Konfiguration definieren Sie den Wertebereich, der in der Rückmeldung dargestellt werden soll. Min Score ist der niedrigste Score der dargestellt wird, alle niedrigeren Ergebnisse, werden an der Stelle von Min Score dargestellt. Max Score ist der höchste Score, der dargestellt wird, alle höheren Ergebnisse, werden an der Stelle von Max Score dargestellt.

Bei Referenzwerte können Sie Vergleichswerte angeben, die in der Rückmeldung als Erwartungsbereich dargestellt werden. Diese können klassenstufenspezifisch sein.

Unter Texte für Individualrückmeldung können Sie Textbausteine hinterlegen, die in der Schüler*innenrückmeldung verwendet werden. Neben einer Einleitung werden Texte für Schüler*innen im obersten Quartil, in den mittleren Quartilen und im unteren Quartil sowie eine Information für Eltern angegeben.

Unter Link zu Materialien in PDF-Format kann optional ein Link zu einem PDF-Dokument mit gebündelten Förderempfehlungen angegeben werden. Ist ein Link hinterlegt, können Lehrkräfte das Dokument in der Rückmeldung herunterladen.

3.3 Materialien hinzufügen

Jeder Feedback-Gruppe können Materialien zugewiesen werden. Dabei handelt es sich um Förderempfehlungen, die Lehrkräften in der Rückmeldung angezeigt werden. Diese werden einem bestimmten Ergebnisbereich zugewiesen, sodass Fördermaßnahmen in Abhängigkeit zu den Testergebnissen der Schüler*innen erfolgen können.

Auf der Übersichtsseite erhalten Sie zunächst einen Überblick über die Materialien, die für diesen Testtyp existieren. Durch Ausklappen der Tabellenzeile, können Sie sich den Inhalt des jeweiligen Materials ansehen.

Um ein neues Material zu erstellen, klicken Sie auf "Material hinzufügen".

Bei Name wird ein Anzeigename bestimmt, der Lehrkräften in der Rückmeldung angezeigt wird.

Min. Score gibt an ab welchem Ergebnis dieses Material für Schüler*innen empfohlen wird.

Mit Max. Score wird das Ergebnis festgelegt, bis zu dem das Material für Schüler*innen empfohlen wird.

In Spalte wird angegeben in welcher Spalte das Material angezeigt werden soll. Mehrere Materialien, die für den gleichen Ergebnisbereich empfohlen werden, können nebeneinander in der Rückmeldung dargestellt werden. Die Spalte gibt an, an welcher Stelle das Material angezeigt wird.

In Details wird der Inhalt des Materials hinterlegt. Zur Formatierung kann HTML verwendet werden.

Bei Feedback-Gruppe muss die Feedback-Gruppe ausgewählt werden, der das Material zugeordnet werden soll.

3.4 Detailhinweise konfigurieren

Im Tab Details werden Regeln für Detailhinweise konfiguriert. Detailhinweise werden in der Lehrkräfterückmeldung in der Detailansicht einer Schülerin bzw. eines Schülers angezeigt und weisen auf Auffälligkeiten in den Ergebnissen hin, z. B. große Unterschiede zwischen zwei Subtests oder ungewöhnlich viele Fehler. Schüler*innen, auf die eine entsprechend markierte Regel zutrifft, werden in der Grafik der Rückmeldung farblich hervorgehoben.

Um eine neue Regel anzulegen, klicken Sie auf "Konfiguration hinzufügen". Die Regeln werden in der Reihenfolge ihrer Position geprüft.

Wählen Sie unter Feedback-Gruppe aus, für welche Feedback-Gruppe die Regel gilt. Optional können ein Primärer Subtest und ein Sekundärer Subtest ausgewählt werden, deren Ergebnisse in der Regel berücksichtigt werden. Unter Test kann die Regel auf einen bestimmten Messzeitpunkt beschränkt werden.

Mit den folgenden Feldern legen Sie fest, wann die Regel zutrifft. Alle Felder sind optional:

• Min. Score und Max. Score: Bereich, in dem der Score der Feedback-Gruppe liegen muss.
• Delta: Abstand zwischen den Ergebnissen des primären und des sekundären Subtests.
• Min./Max. prim. Subtest-Score und Min./Max. sek. Subtest-Score: Bereich, in dem der Score des jeweiligen Subtests liegen muss.
• Min. prim. Subtest-Items und Min. sek. Subtest-Items: Mindestanzahl bearbeiteter Items im jeweiligen Subtest.

Unter Inhalt wird der Hinweistext hinterlegt, der in der Rückmeldung angezeigt wird. Zur Formatierung kann HTML verwendet werden. Mit Schüler*in hervorheben? legen Sie fest, ob Schüler*innen, auf die die Regel zutrifft, in der Grafik farblich hervorgehoben werden.

3.5 Import und Export von Testtypen

Die Konfiguration eines Testtyps (Subtests, Feedback-Gruppen, Materialien, Detailhinweise und die Einstellung zur Gesamtscore-Berechnung) kann exportiert und in eine andere Instanz des BKT-Managers importiert werden.

Klicken Sie zum Exportieren im Tab "Testtypen" in der Zeile des Testtyps auf das Export-Symbol ("Exportieren"). Es wird eine Datei mit der Konfiguration des Testtyps heruntergeladen.

Zum Importieren klicken Sie auf "Importieren", wählen die zuvor exportierte Datei aus und bestätigen mit "Importieren".

4. Verwaltung von Manualen

Im Tab "Manuale" verwalten Sie die Anleitungen, die Lehrkräften im Anmeldebereich unter "Materialien" angezeigt werden, z. B. die Anleitung zur Klassenanmeldung und Codelistenerstellung oder die Systemcheck-Anleitung.

Um ein neues Manual hinzuzufügen, klicken Sie auf "Manual hinzufügen". Geben Sie unter Name den Anzeigenamen und unter URL den Link zum Dokument an. Mit Start und Ende können Sie optional festlegen, in welchem Zeitraum das Manual angezeigt wird.

Über die Symbole in der Tabellenzeile können Sie ein Manual bearbeiten oder löschen.

5. Einstellungen

Im Bereich Einstellungen können Sie das aktuelle Schuljahr konfigurieren. Dabei wird immer das zweite Jahr eines Schuljahrs verwendet. D. h. beim Schuljahr 2024/25 wird 2025 angegeben und beim Schuljahr 2025/26 wird 2026 angegeben.

Mit der Option Median und Standardabweichung in Lehrkräfterückmeldung anzeigen legen Sie fest, ob Lehrkräfte in der Rückmeldung Median und Standardabweichung der Klassenergebnisse einblenden können. In der herunterladbaren Excel-Tabelle werden diese Werte unabhängig von dieser Einstellung immer angezeigt.

6. Testcenter-Statusinformationen abrufen

Auf der Testcenter-Seite kann man eine Übersicht über den Status der mit dem BKT Manager verbundenen Testcenter Instanz erhalten. Darin findet man unter Status, ob das Testcenter durch den BKT-Manager erreichbar ist oder nicht. Wenn es erreichbar ist, findet man unter URL die URL über die der BKT Manager das Testcenter aufruft und unter Version die vom Testcenter verwendete Softwareversion.