ILIAS/Instructions/Online-test

1. Scenarios of use

In this guide, you will learn how to assess learning outcomes using the object test on the ILIAS learning and teaching platform. There are essentially two scenarios of use for which this guide is intended:

1.1. Performance assessment within ongoing ILIAS courses

• To assess the learning progress or prior knowledge of the participants in your course
• As a precondition for accessing further materials
• As part of the coursework

1.2. Self-assessment for learners to practice

• For applying and consolidating the content learned

• To assess individual learning levels in relation to performance expectations (e.g. in preparation for an exam)

Recommendations for self-assessment

• Self- assessment tests should be carried out anonymously without registering names.
• Allowing several test runs can contribute to learning outcomes.
• Optionally, the participants can request clues to solutions during the test (e.g. for a point reduction).
• Self- assessment questions should be comparable to the final exam questions, providing participants with orientation for their grade-relevant performance.

Hinweis zu Online-Klausuren
Wenn Sie einen Test für eine Online-Klausur erstellen möchten, dann nutzen Sie bitte diese Anleitung

2. The test object

2.1. Adding the test object

2.2. 'General Settings'

In the following step, you can make basic settings. To do this, open the “General settings” tab.

2.3. 'Scoring and Results'

Under “Settings” in the “Scoring and Results” tab, you can set the method of evaluating the test.

Depending on how you have configured the settings for the announcement of the test results, participants can see their own test results. This example displays test results cantaining “Detailed Results”:

2.4. 'Personal Default Settings'

The “Personal Default Settings” tab allows you to save your settings so that you can use them in further tests without any effort.

3. Creating and administering questions

3.1. Available question types

You can find an introduction to the different question types for online tests here: Question types in ILIAS

3.2. Open question

For open questions, use the question type “Essay question”.

Please note:

• The Essay Question is ideal for relatively short answers (up to around 5 sentences).
• The Essay question can also be used for longer answers. However, we recommend creating several individual questions with shorter answer texts instead of one Essay question with a longer answer text. (Background: It is not possible to make comments or notes on individual text segments during correction, but only to provide final feedback on the entire answer. With a shorter answer text, this feedback is therefore more specific).
• For longer answers or essays that need to be subdivided and formatted and then corrected directly in the text, the long text task object is more suitable. To do this, you need to add a new object (“long text task”) outside the online test. We will be happy to advise you on this (ilias-support@uni-konstanz.de).

3.3. Adding questions

Es gibt drei Optionen, Fragen in Ihren Test einzufügen:

1. Fragen direkt im Test erstellen
2. Fragen in einem oder mehreren Fragenpool(s) sammeln und verwalten und nach bestimmten Kriterien im Test einbeziehen
3. Fragen aus anderem (bereits bestehenden) Test einfügen

3.3.1. Creating questions in the test

So fügen Sie Fragen in Ihren Test ein:

Empfehlung: Die Reihenfolge der Fragen können Sie jederzeit ändern (siehe Abschnitt 3.5. Fragen verwalten).

Bitte beachten Sie:

Minuspunkte sind zulässig und gängige Praxis, um Zufallstreffer zu vermeiden bzw. zu minimieren. Das Endergebnis einer Frage darf jedoch nie weniger als 0 Punkte betragen - die Mitnahme von Minuspunkten über die Frage hinaus ist unzulässig. Dies ist in den Standard-Einstellungen Ihres Tests so voreingerichtet.

Vorteile von Fragenpools:

1. Sie können in einem oder mehreren Fragenpool(s) langfristig beliebig viele Fragen sammeln und verwalten - z. B. nach inhaltlichen Kriterien. Im Klausurtest können Sie Fragen aus beliebig vielen Fragenpools beziehen. Die Fragen in Fragenpools können Sie in mehreren Tests immer wieder verwenden.
2. Sie haben die Möglichkeit, Fragen mit Taxonomien zu kategorisieren. So können Sie z. B. eine thematische Taxonomie erstellen und dann untergeordnete Knoten „leicht“, „mittel“, „schwierig“ hinzufügen.
3. Sie können zu einzelnen Fragen Kommentare setzen. Dadurch wird das gemeinsame Bearbeiten von Fragenpools erleichtert.

Fragenpools sind für die Teilnehmer*innen nicht sichtbar.

So erstellen Sie einen Fragenpool:

Kommentare im Fragenpool

In Fragenpools können Sie Kommentare zu den einzelnen Fragen abgeben: z. B. wenn Kolleg*innen die Fragen gegenlesen sollen oder Sie sich eine Erinnerung setzen möchten, dass Sie an einer Frage noch etwas bearbeiten/korrigieren möchten.

Bitte beachten Sie:

• Fragen, die Sie direkt in einem Test erstellt haben, können Sie auch nachträglich in einen Fragenpool verschieben.
• Wenn Sie eine Frage direkt im Test bearbeiten, die Sie zuvor im Fragenpool erstellt hatten, erhalten Sie nach der Änderung die Meldung, dass die geänderte Frage als Kopie Ihrer Originalfrage angelegt wurde. Sie können mit „Ja“ oder „Nein“ antworten, ob Sie Ihre Änderung auf die Originalfrage im Fragenpool übertragen wollen.
• Wenn Sie direkt im Test eine Frage löschen, ist diese im Fragenpool noch immer vorhanden. Um eine Frage endgültig zu löschen, entfernen Sie diese im Fragenpool.

3.3.3. Insert questions from another test

So können Sie Fragen aus einem anderen Test einfügen:

3.4. Question editor

Jeder Fragentyp besitzt einen Editor zum Beschreiben der Frage. Beim Erstellen der Frage oder auch später (Frage bearbeiten“) können Sie z. B. Ihren Fragentext formatieren (fett, kursiv, Schriftgröße usw.), in Tabellen strukturieren und Bilder einfügen.

3.5. Administrating questions

In der Übersicht Ihres Online-Tests unter dem Tab "Fragen" können Sie Ihre Fragen bearbeiten oder neu positionieren:

4. Feedback for participants

Sie können zu jeder Frage eine individuelle Rückmeldung hinzufügen.

Vier Optionen für Rückmeldungen stehen zur Verfügung:

4.1. Defining the type of feedback in the test settings

Für die notwendigen Voreinstellungen navigieren Sie bitte zu den "Einstellungen" und anschließend "Allgemeine Einstellungen" Ihres Online-Tests. In der Sektion "Darstellungseigenschaften" finden Sie folgende Auswahlmöglichkeiten zur Rückmeldung:

Eine Kombination aus mehreren Rückmeldungen ist möglich, aber nur bedingt sinnvoll.

4.2. Adding feedback for a question

Um eine Rückmeldung hinzuzufügen, klicken Sie im Bearbeitungsmodus einer Frage auf den Tab „Rückmeldung“. Hier können Sie Ihre Rückmeldungen mit einem Editor eintragen.

4.3. Participants view

Die Rückmeldung kann von den Teilnehmer*innen je nach Einstellung

• ...sofort nach Beantwortung einer Frage durch Klicken auf den Button „Prüfen“ aufgerufen werden.
• ...in den „Detaillierten Testergebnissen“ bei Bekanntgabe des Testergebnisses eingesehen werden. Dafür muss im Tab „Einstellungen“ unter „Auswertung“ im Bereich „Details Testergebnisse“ die entsprechende Einstellung gesetzt sein.
• ILIAS_Online_Test_Rueckmeldung_3_Eng

4.4. Best possible solutions

Für die Anzeige der bestmöglichen Lösungen (die sich aus der gesetzten Punktezahl ergeben) gibt es zwei Möglichkeiten:

• sofort nach Beantwortung einer Frage durch Klicken auf den Button „Prüfen“
• in den „Detaillierten Testergebnissen“ bei Bekanntgabe des Testergebnisses zu Ihrem gewünschten Zeitpunkt

(dafür muss im Reiter „Einstellungen“ unter „Auswertung“ im Bereich „Details Testergebnisse“ die entsprechende Einstellung gesetzt sein)

Für beide Optionen muss in den „Allgemeinen Einstellungen“ unter „Sofortige Rückmeldung“ die Einstellung „Lösungen anzeigen“ gesetzt sein

4.5. 'Content for Recapitulation'

Mit dieser Funktion können die Teilnehmer*innen nach Abschluss des Tests in den „Detaillierten Testergebnissen“ auf Inhalte zur Wiederholung des Lerninhalts wie z. B. ausgewählte Seiten, Dateien, Lernmodule und Glossarbegriffe verwiesen werden.

Zunächst muss im Reiter „Einstellungen“ des Tests unter „Auswertung“ im Bereich „Details Testergebnisse“ die Einstellung „Musterlösungen anzeigen“ gesetzt sein. Wann die Teilnehmer auf diese Inhalte zur Wiederholung zugreifen können, hängt vom Zugang zu den Testergebnissen ab, den Sie auf der selben Seite einstellen können.

5. Trial runs

Nach der Fertigstellung Ihres Tests empfiehlt es sich zu überprüfen, ob der Test so abläuft und die Ergebnisse so ausgewertet werden, wie Sie das geplant haben, oder ob Sie in den Einstellungen des Tests noch etwas korrigieren müssen.

Dafür muss der Test online geschaltet sein (im Tab „Einstellungen“).

Danach können Sie zur Probe den „Test starten“ (das ist im Tab „Fragen“ sowie im Tab „Info“ möglich).

Bitte beachten Sie: Nach jedem Testdurchlauf (auch nach „Probetests“) existieren „Ergebnisse“ bzw. „Testdaten“. Diese müssen gelöscht werden, bevor Sie den Test weiter bearbeiten können (um Einstellungen zu ändern, Fragen nochmals zu bearbeiten oder neue Fragen hinzuzufügen).

Öffnen Sie dafür den Tab „Ergebnisse“, klicken Sie auf „Testdaten aller Teilnehmer löschen“ und bestätigen Sie mit „Fortfahren“. Bitte überprüfen Sie vor Einsatz Ihres Tests, ob alle „Testdaten“ aus den Probedurchläufen gelöscht sind.

6. Test results

6.1. Automatic evaluation

6.2. Evaluating manually

Wenn Sie Fragen verwenden, die manuell ausgewertet werden müssen, klicken Sie auf „Manuelle Bewertung“. Hier wählen Sie die einzelne(n) Frage(n) im Bereich „Bewertung nach Frage“ mit „Filter anwenden“ aus.

Anschließend sehen Sie die Antworten der Teilnehmer*innen („Antwort anzeigen“), bewerten die Lösung („Erreichte Punkte“) und „Speichern“ die vergebene Punktzahl.

7. Post-correction after the test

Sie stellen nach dem Test fest, dass Ihnen bei der Punktevergabe in einer Frage ein Fehler unterlaufen ist? Oder dass Sie eine Frage nicht klar genug formuliert haben, wodurch sie von vielen Teilnehmer*innen nicht ausreichend verstanden und daher nicht angemessen beantwortet wurde? Sie können die Punkte von Fragen nachträglich ändern. Im Tab „Nachkorrektur“ können Sie

• die Bewertung mit Punkten der Antwortmöglichkeiten einer Frage ändern, entfernen oder hinzufügen
• einzelne Antwortmöglichkeiten einer Frage ändern, entfernen oder hinzufügen
• eine Antwortübersicht einsehen und ggf. bereits erstellte manuelle Bewertungen entfernen.

Bitte beachten: Nicht alle Fragetypen haben die Möglichkeit einer Nachkorrektur. Manche sind nur teilweise nachkorrigierbar.

Nachkorrekturen und manuelle Korrekturen sollten immer nur von einer Person gleichzeitig vorgenommen werden.

Arbeiten mehrere Personen gleichzeitig an der Korrektur und die Speicherungszeit überschneidet sich, können aus technischen Gründen nicht alle Korrekturen gespeichert werden.

8. Accessing and managing test results

8.1. Manage results

Im Reiter „Ergebnisse“ können Sie Nutzerdaten des Tests einsehen und löschen. In einer Liste werden alle Teilnehmer*innen aufgeführt, die den Test begonnen oder abgeschlossen haben. Sie können über „Testergebnisse anzeigen“ direkt auf die Antworten zugreifen (auch auf Ergebnisse der nicht bewerteten Testdurchgänge) oder über das Dropdown-Menü zwischen drei weiteren Ansichten wählen:

8.2. Reviewing statistics

Im Reiter "Statistik" stehen neben aggregierten Ergebnissen (z. B. Notendurch-

schnitt) auch individuelle Daten für alle oder einzelne Testpersonen zur Verfügung. Die angezeigten Ergebnisse können

Sie in den Formaten Excel oder CSV (kommagetrennte Werte) exportieren.

8.3. Exporting a result file

Im Reiter „Export“ haben Sie die Möglichkeit, Exporte zu erzeugen und anschließend herunterzuladen.

9. Test as precondition before accessing further course materials

Sie können Tests auch als Vorbedingung für den Zugriff auf weitere Materialien nutzen: Erst nach dem Bestehen des Tests sollen Teilnehmer*innen Zugriff auf andere von Ihnen bereitgestellte Materialien haben.