ILIAS/Instructions/Online-test

1. Scenarios of use

In this guide, you will learn how to assess learning outcomes using the object test on the ILIAS learning and teaching platform. There are essentially two scenarios of use for which this guide is intended:

1.1. Performance assessment within ongoing ILIAS courses

• To assess the learning progress or prior knowledge of the participants in your course
• As a precondition for accessing further materials
• As part of the coursework

1.2. Self-assessment for learners to practice

• For applying and consolidating the content learned

• To assess individual learning levels in relation to performance expectations (e.g. in preparation for an exam)

Recommendations for self-assessment

• Self- assessment tests should be carried out anonymously without registering names.
• Allowing several test runs can contribute to learning outcomes.
• Optionally, the participants can request clues to solutions during the test (e.g. for a point reduction).
• Self- assessment questions should be comparable to the final exam questions, providing participants with orientation for their grade-relevant performance.

Hinweis zu Online-Klausuren
Wenn Sie einen Test für eine Online-Klausur erstellen möchten, dann nutzen Sie bitte diese Anleitung

2. The test object

2.1. Adding the test object

2.2. 'General Settings'

In the following step, you can make basic settings. To do this, open the “General settings” tab.

2.3. 'Scoring and Results'

Under “Settings” in the “Scoring and Results” tab, you can set the method of evaluating the test.

Je nachdem, wie Sie die Einstellungen für die Bekanntgabe der Testergebnisse in den Test-Einstellungen gesetzt haben, können die Teilnehmer*innen ihre Testergebnisse einsehen. Dieses Beispiel zeigt detaillierte Testergebnisse mit „Details anzeigen“:

2.4. 'Personal Default Settings'

Der Tab "Persönliche Standardeinstellungen" ermöglicht Ihre Einstellungen zu speichern, um diese in weiteren Tests ohne Aufwand übernehmen zu können.

3. Creating and administering questions

3.1. Available question types

Eine Einführung zu möglichen Fragetypen in Ihrem Online-Test finden Sie hier: Fragetypen in ILIAS

3.2. Open question

Für offene Fragen nutzen Sie den Fragetyp "Freitextfrage".

Bitte beachten Sie:

• Bei relativ kurzen Antworten (bis etwa 5 Sätze) ist die Freitextfrage optimal geeignet.
• Bei längeren Antworten kann die Freitextfrage ebenfalls eingesetzt werden. Wir empfehlen hier jedoch, mehrere einzelne Freitextfragen mit kürzeren Antwort-Texten statt einer Freitextfrage mit längerem Antwort-Text zu erstellen. (Hintergrund: Es ist bei der Korrektur nicht möglich, Kommentare oder Notizen zu einzelnen Textstellen zu setzen, sondern nur eine abschließende Rückmeldung zur gesamten Antwort. Bei einem kürzeren Antwort-Text ist diese Rückmeldung daher spezifischer möglich.)
• Für längere Antworten, die unterteilt und formatiert werden sollen und dann direkt im Text korrigiert werden, ist die Langtext-Aufgabe besser geeignet. Dafür müssen Sie außerhalb des Online-Tests ein neues Objekt ("Langtext-Aufgabe") hinzufügen. Wir beraten Sie dazu gerne (ilias-support@uni-konstanz.de).

3.3. Adding questions

Es gibt drei Optionen, Fragen in Ihren Test einzufügen:

1. Fragen direkt im Test erstellen
2. Fragen in einem oder mehreren Fragenpool(s) sammeln und verwalten und nach bestimmten Kriterien im Test einbeziehen
3. Fragen aus anderem (bereits bestehenden) Test einfügen

3.3.1. Creating questions in the test

So fügen Sie Fragen in Ihren Test ein:

Empfehlung: Die Reihenfolge der Fragen können Sie jederzeit ändern (siehe Abschnitt 3.5. Fragen verwalten).

Bitte beachten Sie:

Minuspunkte sind zulässig und gängige Praxis, um Zufallstreffer zu vermeiden bzw. zu minimieren. Das Endergebnis einer Frage darf jedoch nie weniger als 0 Punkte betragen - die Mitnahme von Minuspunkten über die Frage hinaus ist unzulässig. Dies ist in den Standard-Einstellungen Ihres Tests so voreingerichtet.

Vorteile von Fragenpools:

1. Sie können in einem oder mehreren Fragenpool(s) langfristig beliebig viele Fragen sammeln und verwalten - z. B. nach inhaltlichen Kriterien. Im Klausurtest können Sie Fragen aus beliebig vielen Fragenpools beziehen. Die Fragen in Fragenpools können Sie in mehreren Tests immer wieder verwenden.
2. Sie haben die Möglichkeit, Fragen mit Taxonomien zu kategorisieren. So können Sie z. B. eine thematische Taxonomie erstellen und dann untergeordnete Knoten „leicht“, „mittel“, „schwierig“ hinzufügen.
3. Sie können zu einzelnen Fragen Kommentare setzen. Dadurch wird das gemeinsame Bearbeiten von Fragenpools erleichtert.

Fragenpools sind für die Teilnehmer*innen nicht sichtbar.

So erstellen Sie einen Fragenpool:

Kommentare im Fragenpool

In Fragenpools können Sie Kommentare zu den einzelnen Fragen abgeben: z. B. wenn Kolleg*innen die Fragen gegenlesen sollen oder Sie sich eine Erinnerung setzen möchten, dass Sie an einer Frage noch etwas bearbeiten/korrigieren möchten.

Bitte beachten Sie:

• Fragen, die Sie direkt in einem Test erstellt haben, können Sie auch nachträglich in einen Fragenpool verschieben.
• Wenn Sie eine Frage direkt im Test bearbeiten, die Sie zuvor im Fragenpool erstellt hatten, erhalten Sie nach der Änderung die Meldung, dass die geänderte Frage als Kopie Ihrer Originalfrage angelegt wurde. Sie können mit „Ja“ oder „Nein“ antworten, ob Sie Ihre Änderung auf die Originalfrage im Fragenpool übertragen wollen.
• Wenn Sie direkt im Test eine Frage löschen, ist diese im Fragenpool noch immer vorhanden. Um eine Frage endgültig zu löschen, entfernen Sie diese im Fragenpool.

3.3.3. Insert questions from another test

So können Sie Fragen aus einem anderen Test einfügen:

3.4. Question editor

Jeder Fragentyp besitzt einen Editor zum Beschreiben der Frage. Beim Erstellen der Frage oder auch später (Frage bearbeiten“) können Sie z. B. Ihren Fragentext formatieren (fett, kursiv, Schriftgröße usw.), in Tabellen strukturieren und Bilder einfügen.

3.5. Administrating questions

In der Übersicht Ihres Online-Tests unter dem Tab "Fragen" können Sie Ihre Fragen bearbeiten oder neu positionieren:

4. Feedback for participants

Sie können zu jeder Frage eine individuelle Rückmeldung hinzufügen.

Vier Optionen für Rückmeldungen stehen zur Verfügung:

4.1. Defining the type of feedback in the test settings

Für die notwendigen Voreinstellungen navigieren Sie bitte zu den "Einstellungen" und anschließend "Allgemeine Einstellungen" Ihres Online-Tests. In der Sektion "Darstellungseigenschaften" finden Sie folgende Auswahlmöglichkeiten zur Rückmeldung:

Eine Kombination aus mehreren Rückmeldungen ist möglich, aber nur bedingt sinnvoll.

4.2. Adding feedback for a question

Um eine Rückmeldung hinzuzufügen, klicken Sie im Bearbeitungsmodus einer Frage auf den Tab „Rückmeldung“. Hier können Sie Ihre Rückmeldungen mit einem Editor eintragen.

4.3. Participants view

Die Rückmeldung kann von den Teilnehmer*innen je nach Einstellung

• ...sofort nach Beantwortung einer Frage durch Klicken auf den Button „Prüfen“ aufgerufen werden.
• ...in den „Detaillierten Testergebnissen“ bei Bekanntgabe des Testergebnisses eingesehen werden. Dafür muss im Tab „Einstellungen“ unter „Auswertung“ im Bereich „Details Testergebnisse“ die entsprechende Einstellung gesetzt sein.
• ILIAS_Online_Test_Rueckmeldung_3_Eng

4.4. Best possible solutions

Für die Anzeige der bestmöglichen Lösungen (die sich aus der gesetzten Punktezahl ergeben) gibt es zwei Möglichkeiten:

• sofort nach Beantwortung einer Frage durch Klicken auf den Button „Prüfen“
• in den „Detaillierten Testergebnissen“ bei Bekanntgabe des Testergebnisses zu Ihrem gewünschten Zeitpunkt

(dafür muss im Reiter „Einstellungen“ unter „Auswertung“ im Bereich „Details Testergebnisse“ die entsprechende Einstellung gesetzt sein)

Für beide Optionen muss in den „Allgemeinen Einstellungen“ unter „Sofortige Rückmeldung“ die Einstellung „Lösungen anzeigen“ gesetzt sein

4.5. 'Content for Recapitulation'

Mit dieser Funktion können die Teilnehmer*innen nach Abschluss des Tests in den „Detaillierten Testergebnissen“ auf Inhalte zur Wiederholung des Lerninhalts wie z. B. ausgewählte Seiten, Dateien, Lernmodule und Glossarbegriffe verwiesen werden.

Zunächst muss im Reiter „Einstellungen“ des Tests unter „Auswertung“ im Bereich „Details Testergebnisse“ die Einstellung „Musterlösungen anzeigen“ gesetzt sein. Wann die Teilnehmer auf diese Inhalte zur Wiederholung zugreifen können, hängt vom Zugang zu den Testergebnissen ab, den Sie auf der selben Seite einstellen können.

5. Trial runs

Nach der Fertigstellung Ihres Tests empfiehlt es sich zu überprüfen, ob der Test so abläuft und die Ergebnisse so ausgewertet werden, wie Sie das geplant haben, oder ob Sie in den Einstellungen des Tests noch etwas korrigieren müssen.

Dafür muss der Test online geschaltet sein (im Tab „Einstellungen“).

Danach können Sie zur Probe den „Test starten“ (das ist im Tab „Fragen“ sowie im Tab „Info“ möglich).

Bitte beachten Sie: Nach jedem Testdurchlauf (auch nach „Probetests“) existieren „Ergebnisse“ bzw. „Testdaten“. Diese müssen gelöscht werden, bevor Sie den Test weiter bearbeiten können (um Einstellungen zu ändern, Fragen nochmals zu bearbeiten oder neue Fragen hinzuzufügen).

Öffnen Sie dafür den Tab „Ergebnisse“, klicken Sie auf „Testdaten aller Teilnehmer löschen“ und bestätigen Sie mit „Fortfahren“. Bitte überprüfen Sie vor Einsatz Ihres Tests, ob alle „Testdaten“ aus den Probedurchläufen gelöscht sind.

6. Test results

6.1. Automatic evaluation

6.2. Evaluating manually

Wenn Sie Fragen verwenden, die manuell ausgewertet werden müssen, klicken Sie auf „Manuelle Bewertung“. Hier wählen Sie die einzelne(n) Frage(n) im Bereich „Bewertung nach Frage“ mit „Filter anwenden“ aus.

Anschließend sehen Sie die Antworten der Teilnehmer*innen („Antwort anzeigen“), bewerten die Lösung („Erreichte Punkte“) und „Speichern“ die vergebene Punktzahl.

7. Post-correction after the test

Sie stellen nach dem Test fest, dass Ihnen bei der Punktevergabe in einer Frage ein Fehler unterlaufen ist? Oder dass Sie eine Frage nicht klar genug formuliert haben, wodurch sie von vielen Teilnehmer*innen nicht ausreichend verstanden und daher nicht angemessen beantwortet wurde? Sie können die Punkte von Fragen nachträglich ändern. Im Tab „Nachkorrektur“ können Sie

• die Bewertung mit Punkten der Antwortmöglichkeiten einer Frage ändern, entfernen oder hinzufügen
• einzelne Antwortmöglichkeiten einer Frage ändern, entfernen oder hinzufügen
• eine Antwortübersicht einsehen und ggf. bereits erstellte manuelle Bewertungen entfernen.

Bitte beachten: Nicht alle Fragetypen haben die Möglichkeit einer Nachkorrektur. Manche sind nur teilweise nachkorrigierbar.

Nachkorrekturen und manuelle Korrekturen sollten immer nur von einer Person gleichzeitig vorgenommen werden.

Arbeiten mehrere Personen gleichzeitig an der Korrektur und die Speicherungszeit überschneidet sich, können aus technischen Gründen nicht alle Korrekturen gespeichert werden.

8. Accessing and managing test results

8.1. Manage results

Im Reiter „Ergebnisse“ können Sie Nutzerdaten des Tests einsehen und löschen. In einer Liste werden alle Teilnehmer*innen aufgeführt, die den Test begonnen oder abgeschlossen haben. Sie können über „Testergebnisse anzeigen“ direkt auf die Antworten zugreifen (auch auf Ergebnisse der nicht bewerteten Testdurchgänge) oder über das Dropdown-Menü zwischen drei weiteren Ansichten wählen:

8.2. Reviewing statistics

Im Reiter "Statistik" stehen neben aggregierten Ergebnissen (z. B. Notendurch-

schnitt) auch individuelle Daten für alle oder einzelne Testpersonen zur Verfügung. Die angezeigten Ergebnisse können

Sie in den Formaten Excel oder CSV (kommagetrennte Werte) exportieren.

8.3. Exporting a result file

Im Reiter „Export“ haben Sie die Möglichkeit, Exporte zu erzeugen und anschließend herunterzuladen.

9. Test as precondition before accessing further course materials

Sie können Tests auch als Vorbedingung für den Zugriff auf weitere Materialien nutzen: Erst nach dem Bestehen des Tests sollen Teilnehmer*innen Zugriff auf andere von Ihnen bereitgestellte Materialien haben.