LLM fails. Gescheiterte Experimente mit Generativer KI und was wir daraus lernen können

Workshop am 8. und 9. April 2025

Organisation: Annelen Brunner (Abteilung Lexik), Christian Lang (Abteilung Grammatik), Ngoc Duyen Tanja Tu (Abteilung Grammatik)

Wichtige Termine:

Die Teilnahme am Workshop ist kostenlos. / Participation in the workshop is free of charge.

Call for Abstracts

**automatic English translation below**

Gescheiterte Experimente finden für gewöhnlich keinen Platz im wissenschaftlichen Diskurs, sie werden verworfen und nicht publiziert. Wir glauben, dass dadurch potenzieller Erkenntnisgewinn verloren geht. Schließlich ermöglicht eine systematische Reflexion über die Gründe des Scheiterns, angewendete Methoden zu hinterfragen und/oder zu verbessern. Zudem kann bei der Wiederholung zuvor gescheiterter Experimente explizit Fortschritt ermittelt werden, wenn diese dann gelingen. Die Diskussion und Dokumentation von Fehlschlägen schafft somit aus Perspektive der Methodenreflexion einen Mehrwert für die wissenschaftliche Gemeinschaft. Dies gilt umso mehr in einem Bereich wie der Forschung zu und mit Generativer Künstlicher Intelligenz, die nicht auf eine jahrzehntelange Tradition zurückblicken kann und in dem Best Practices erst ausgehandelt werden.

In diesem Workshop stehen linguistische und NLP-Experimente mit Generativer Künstlicher Intelligenz im Fokus, die nicht die gewünschten Ergebnisse gebracht haben, beispielsweise:

• Einsatz einer Generativer KI als Named-Entity-Recognizer

• Einsatz einer Generativer KI zur automatischen Transkription von gesprochenen Sprachdaten

• Einsatz einer Generativer KI zur Erstellung von Wörterbuchartikeln

• Einsatz einer Generativen KI zur Detektion von Sprachwandelphänomenen

Im Beitrag sollte klar werden, inwiefern dieses Scheitern zum Erkenntnisgewinn bezüglich der Arbeit mit Generativer KI beitragen kann.

Unveröffentlichte Beitragsvorschläge können bis zum 02.12.2024 in Form eines Abstracts (500-750 Wörter) in deutscher oder in englischer Sprache anonymisiert an folgende Mailadresse gesendet werden:

llmfails(at)ids-mannheim.de

Über die Annahme der Beiträge entscheidet das Organisationsteam bis zum 16.12.2025. Bei Annahme des Beitrags wird die Ausarbeitung zu einem short paper (4-6 Seiten ohne Referenzen) auf Englisch bis zum 15.02.2025 erbeten. Die short papers werden im peer review (double blind) begutachtet und in einem Sonderheft des Journals for Language Technology and Computational Linguistics veröffentlicht und damit auch über die ACL Anthology archiviert.

Der Workshop findet vom 8.-9.4.2025 (Lunch-to-Lunch) am Leibniz-Institut für Deutsche Sprache in Mannheim statt. Die 20-minütigen Vorträge können auf Deutsch oder Englisch gehalten werden.

Call for Abstracts (English)

Failed experiments typically have no place in scientific discourse; they are discarded and not published. We believe this leads to a loss of potential knowledge. After all, a systematic reflection on the reasons for failure allows for the questioning and/or improvement of methods used. Furthermore, when previously failed experiments are repeated and succeed, explicit progress can be determined. Thus, the discussion and documentation of failures creates added value for the scientific community from the perspective of methodological reflection. This is even more relevant in a field like research into and with Generative Artificial Intelligence (AI), which cannot look back on decades of tradition and where best practices are still being negotiated.

This workshop focuses on linguistic and NLP experiments with Generative AI that did not yield the desired results, such as but not limited to:

• Using Generative AI as a Named-Entity Recognizer

• Using Generative AI for automatic transcription of spoken language data

• Using Generative AI for the creation of dictionary entries

• Using Generative AI for the detection of language change phenomena

The contribution should clarify how this failure can contribute to knowledge gain regarding the work with Generative AI.

Unpublished proposals can be submitted anonymously as an abstract (500-750 words) in either German or English to the following email address by December 2, 2024:

llmfails(at)ids-mannheim.de

The organization team will decide on the acceptance of contributions by December 16, 2025. If a contribution is accepted, a short paper (4-6 pages without references) in English will be requested by February 15, 2025. The short papers will undergo double-blind peer review and will be published in a special issue of the Journal for Language Technology and Computational Linguistics and archived at ACL Anthology.

The workshop will take place from April 8-9, 2025 (Lunch-to-Lunch) at the Leibniz Institute for the German Language in Mannheim. The 20-minutes presentations can be given in either German or English.