49 Scripta Manent XIX/1 (2024) DOI: 10.4312/SM.19.1.49-62 Research Paper Paper received: 15.06.2024 Paper revised: 10.08.2024 Paper accepted: 21.09.2024 Paper published: 30.11.2024 Katja Težak Universität Maribor, Slowenien Sara Orthaber Universität Maribor, Slowenien MIT ChatGPT AGRAR-FACHWORTSCHATZ ERLERNEN: MÖGLICHKEITEN UND GRENZEN Zusammenfassung Die Einbeziehung künstlicher Intelligenz (KI) – wie ChatGPT – in den Sprachunterricht öffnet neue Pers- pektiven für den Erwerb eines Fachwortschatzes und von Sprachkompetenzen. Die vorliegende Studie widmet sich, im Deutschunterricht an einer slowenischen Universität für zukünftige Expert/innen der Ag- rarwissenschaften mithilfe von ChatGPT-3 Termini und deren grammatische Eigenschaften zu extrahie- ren. Dabei wird untersucht, wie ChatGPT-3 diesbezüglich bei öffentlich verfügbaren wissenschaftlichen Beiträgen zum Thema Landwirtschaft, grüner Wandel und Nachhaltigkeit vorgeht. Die Ergebnisse haben gezeigt, welche Begriffe ChatGPT als bedeutsam für den Deutschunterricht identifiziert und wie sie von dem KI-Instrument dargestellt werden. Außerdem wird aufgezeigt, wie hoch die Fehlerrate ist und wel- che Terminologie für Studierende der Agrarwissenschaften einerseits hilfreich und relevant, andererseits jedoch potenziell irreführend sein kann. Die Studie könnte zur Erstellung zielgerichteter Lehrmaterialien für Studierende der Agrarwissenschaften genutzt werden, indem Lehrende die von ChatGPT generierten Termini als Ausgangspunkt präsentieren, die von den Studierenden verbessert werden können. Alterna- tiv könnte sie auch in der Form einer „Finde die Fehler“-Aufgabe gestaltet werden. Schlüsselwörter: ChatGPT-3, AI, DaF, Fachwortschatz, Agrarwissenschaften Abstract Learning Agricultural Vocabulary with ChatGPT: Possibilities and Limitations The integration of artificial intelligence (AI) such as ChatGPT into language teaching, offers new per- spectives for acquiring specialized vocabulary and language skills. This study explores the use of ChatGPT-3 to extract terms and their grammatical properties in German lessons at a Slovenian uni- versity for future agricultural science experts. It examines how ChatGPT-3 processes publicly available scientific articles on agriculture, green transition, and sustainability. The findings have shown which terms ChatGPT identifies as agricultural terminology in German language instruction and how they are presented by the AI tool. Additionally, the error rate is highlighted, as well as which terminology is helpful and relevant for agricultural science students on the one hand, but potentially misleading on the other. This research could inform the development of targeted teaching materials for agricultural science students, for instance, by using ChatGPT-generated terms as a starting point for student cor- rections. Alternatively, it could be adapted into a ‘find the errors’ exercise. Keywords: ChatGPT-3, AI, German as a foreign language, specialized vocabulary, agricultural science 50 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 1 Einführung Künstliche Intelligenz (KI) hat verschiedene Bereiche unseres Lebens revolutioniert, darunter auch die Bildung und das Erlernen von Fremdsprachen. Durch ihre Fähigkeit, enorme Daten- mengen zu verarbeiten, aus Mustern zu lernen und intelligente Entscheidungen zu treffen, kann KI dabei helfen, zeitsparend ein höherer Lernfortschritt zu erzielen, als wenn die Stu- dierenden alle Informationen selbstständig recherchieren müssten. Die Stärke von KI zeigt sich in der Bewältigung komplexer Aufgaben in bisher ungekanntem Ausmaß und Tempo. So werden Abläufe effizient optimiert und die Gesamtproduktivität verbessert. KI setzt mensch- liche Ressourcen frei, indem sie repetitive Aufgaben automatisiert und ihnen die Möglichkeit einräumt, sich auf höherwertige, anspruchsvolle und auf kritischem Denken beruhende Tä- tigkeiten zu konzentrieren. Einige Forscher und Forscherinnen weisen darauf hin, dass KI-Al- gorithmen Bildungsinhalte personalisieren können, um den individuellen Bedürfnissen und Lernstilen der Studierenden gerecht zu werden. Dies hilft Pädagogen und Pädagoginnen, Verbesserungsbereiche zu identifizieren und Bildungsprogramme an spezifische Anforde- rungen anzupassen (AI, 2024). Im Bereich des Sprachenlernens ist KI noch nicht so weit, eine herausragende Lernerfahrung zu schaffen. Laut einer Studie (Mykhalevych, 2024) ist dies vor allem auf die fehlende menschliche Bindung, Orientierungshilfe und Motivation durch eine Lehrkraft zurückzuführen. In diesem Sinne meint Damberger (2017), „dass Schule nicht nur dem Namen nach eine Bildungseinrichtung ist, dass Bildung Menschenbildung und nicht Systemoptimierung meint, und dass das Menschliche am Menschen sich ausschließlich in der menschlichen Begegnung und nicht in ihrer Simulation zu entfalten vermag.” Ein weiterer nennenswerter Konflikt zeigt sich darin, dass ChatGPT noch die Kompetenz fehlt, Daten an- gemessen zu extrahieren, sodass der Lehrkörper unbedingt benötigt wird, um Probleme im Lernprozess zu vermeiden. Die vorliegende Studie widmet sich der Thematik, im Deutschunterricht an einer sloweni- schen Universität für zukünftige Experten und Expertinnen der Agrarwissenschaften mithilfe von ChatGPT-3 Termini zu extrahieren. Dabei wird untersucht, wie ChatGPT-3 diesbezüglich bei öffentlich verfügbaren wissenschaftlichen Beiträgen zum Thema Landwirtschaft, grüner Wandel und Nachhaltigkeit vorgeht. Schlussendlich soll aufgezeigt werden, welche Termino- logie ChatGPT für den Deutschunterricht bedeutsam findet, wie sie von dem KI-Instrument präsentiert wird und was im Rahmen dieser Studie für Studierende einerseits hilfreich und relevant ist, andererseits aber irreführend wäre. So könnte die Studie für die Erarbeitung ziel- gerichteter Lehrmaterialien für Studierende der Agrarwissenschaften angewendet werden (vgl. Meršnik, Đorđević & Anđelković, 2023), indem sie eine Brücke zwischen fachspezifischen Termini und effektivem Sprachunterricht mit ChatGPT baut. Die gewonnenen Ergebnisse ge- währen einen wertvollen Blick auf den Einsatz von KI im Bildungsprozess und tragen zur erfolgreichen Integration von KI in den Lehrplan bei. 2 Was ist ChatGPT Die Entwicklung von Sprachmodellen stellt einen bedeutenden Meilenstein im Bereich der KI dar. Bemerkenswerte Fortschritte lassen die GPT (Generative Pre-trained Transformer)-Archi- tektur als bahnbrechenden Ansatz für die natürliche Sprachverarbeitung herausragen. GPT hat 51 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 mehrere Iterationen durchlaufen, von denen jede einen Fortschritt in der Fähigkeit, mensch- liche Sprache zu verstehen, zu generieren und darauf zu reagieren, darstellt (Mehmke, 2023). Die erste Version von GPT führte das Konzept des Vortrainings und der Feinabstimmung ein. Sie nutzte eine auf Transformer basierende neuronale Netzwerkarchitektur, die in der Lage ist, kontextuelle Beziehungen zwischen Wörtern zu erfassen und zusammenhängende Texte zu generieren. GPT-2 markierte einen bedeutenden Fortschritt in der Entwicklung der Architek- tur, indem es globale Abhängigkeiten erfasste, kohärentere und kontextuell relevantere Texte generierte und somit beeindruckende Fähigkeiten zur Sprachgenerierung zeigte. Ein ganz be- sonderer Aspekt war seine Modellgröße, die 1,5 Milliarden Parameter umfasste.1 Diese Para- meter ermöglichten dem Modell, aus einem umfangreichen Korpus von Textdaten zu lernen. Mit beeindruckenden 175 Milliarden Parametern hat die kostenlose GPT-3-Version jedoch die- se Größenordnung übertroffen und kann eine Vielzahl von Aufgaben durchführen. Sie ist in der Lage, Chatbots und virtuelle Assistenten zu erstellen, maschinelle Übersetzungen von Tex- ten zu generieren oder Inhalte auszuarbeiten. Mittlerweile hat auch ChatGPT-4 eine erstaun- liche Kapazität von 10 Billionen Parametern erreicht und zeigt die außergewöhnliche Fähigkeit, menschenähnliche Texte zu verstehen und zu generieren und übertrifft somit die vorherigen Versionen in Bezug auf Kohärenz, Kontextverständnis und kreative Antworten (Mahnke, 2023). Mit der regelmäßigen Anwendung von ChatGPT haben viele Nutzer und Nutzerinnen ge- lernt, dass er bei korrektem Einsatz ein nützliches Werkzeug sein kann. Die Basis für die von ChatGPT verfassten Texte liegt in der korrekten Formulierung des Prompts2. Im Internet fin- den sich zahlreiche Regeln zur richtigen Verwendung von Prompts (z. B. Noack, 2023; Mey, 2023). Beispiele für ChatGPT Anfragen: Einfache Anfrage: Fachspezifische Anfrage: Interaktive Aufgaben: 1 Parameter sind die Werte innerhalb eines Netzwerks, die eine ungefähre Vorstellung von der Größe und Komplexität und damit auch Leistungsfähigkeit einer KI bestimmen. Sie enthalten die Informationen, die von einer KI, die auf künstlichen neuronalen Netzen basiert, verwendet werden (Seemann, 2023). 2 Ein „Prompt“ kommt aus dem Englischen und ist eine Ableitung des Verbs „to prompt“, was ungefähr bedeutet, einem Computer oder einer KI-Plattform eine Aufgabe zu geben, die sofort zu erledigen ist. Laut Gabler Wirtschaftslexikon (o. D.) kann ein textbasierter Prompt Wörter, Buchstaben, Sonderzei- chen, Zahlen und Links umfassen. Für ein zielführendes Ergebnis sollte der Prompt klar und umfassend formuliert sein. 52 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 Vordergründig müssen präzise und für die KI klar verständliche Anfragen gestellt werden (das bedeutet, mit ausführlichen Informationen sowie korrekter Rechtschreibung und Gram- matik). Je mehr Kontext die KI erhält, desto besser, auch weitere Folgefragen können dabei sehr hilfreich sein (vgl. Luge, 2023). Eindeutig erkennbar ist, dass KI-Instrumente – wie ChatGPT – ein umfassendes Training benötigen, was für Nutzer und Nutzerinnen bedeutet, Zeit und Wissen zu investieren, wie man so ein Instrument für die gewünschten Ergebnisse richtig einstellt, da sie auf Daten- optimierung basieren. Übertragen auf unsere Situation mit Studierenden, die mithilfe von ChatGPT selbständig lernen sollen, zeigen sich potenzielle Probleme, weil es zu fehlerhaften Informationen bei der Vermittlung kommen kann. Aus diesem Grund gehen wir später auch darauf ein, dass die Entwicklung von ChatGPT noch nicht abgeschlossen ist. Außerdem be- nötigen Studierende zunächst ein umfassendes, sehr zeitintensives Training im KI-Gebrauch, um ChatGPT richtig und effektiv anzuwenden. Zudem fehlen ihnen auch die nötigen Sprach- kenntnisse, um die KI korrekt zu trainieren, was eine noch größere Herausforderung dar- stellt. Es ist wichtig zu betonen, dass ChatGPT trotz fortgeschrittenem Training weiterhin Ein- schränkungen aufweist. Insbesondere im Bereich der wissenschaftlichen Erklärung können potenzielle Risiken auftreten, da das Modell nicht nur zur Texterstellung, sondern auch zur Darstellung wissenschaftlicher Zusammenhänge verwendet wird. Dabei besteht die Möglich- keit, dass neben fehlerhaft generierten Zitaten oder Quellen auch inkorrekte Informationen bereitgestellt werden. Dies liegt daran, dass der Chatbot in manchen Fällen sogenannte „Hal- luzinationen“ produziert, um eine konsistente Antwort zu generieren, die den Nutzer zufrie- denstellt, ungeachtet ihres Wahrheitsgehalts (Dongmo, Krüßmann & Weimann, 2023). Bei der Extrahierung von Termini zeigt sich das in falsch angewandten Wortarten und Zeitformen und in unaufgefordert fehlerhaften Grammatiktipps. 3 ChatGPT im Fremdsprachenunterricht Es ist mittlerweile weitläufig bekannt, dass mit ChatGPT Texte erstellt, überprüft und verbes- sert oder sogar in andere Formate umgewandelt werden können. Außerdem kann ChatGPT Aufsätze bewerten, Verbesserungsvorschläge machen, Unterrichtspläne erstellen sowie Aufgaben, Klausuren, Fragen, Szenarien usw. generieren (Rudolph, Tan & Tan, 2023). Ob- wohl bereits viele Lehrer und Lehrerinnen ChatGPT bei der Optimierung ihrer Arbeit und zur Reduzierung der Lehrerarbeitsbelastung nutzen, mangelt es noch an empirischen Studien, die seine Verwendung im Fremdsprachenunterricht erforschen. Die Untersuchung von Hein et al. (2024) über das Potenzial von ChatGPT zur Unterstützung von Lehrkräften hat gezeigt, dass er bei der Erstellung von Unterrichtsmaterialien, beim Zugang zu Informationen oder zur Entwicklung von Lerninhalten Hilfe leistet und somit ihre landesweit gestiegene Arbeits- belastung inklusive vermehrter Überstunden reduziert. In seiner Studie über die Auswirkungen von ChatGPT auf den Fremdsprachenunterricht und den Erwerb einer Fremdsprache stellte Hin Hong (2023) fest, dass Lehrkräfte dazu ermutigt werden, ChatGPT zur Minimierung ihrer Bewertungsarbeit anzuwenden, um mehr Zeit in die Unterrichtsvorbereitung investieren zu können. Gleichzeitig wurden jedoch auch die da- mit verbundenen Einschränkungen und Probleme, wie beispielsweise der unethische Einsatz von ChatGPT durch Studierende identifiziert. ChatGPT zeichnet sich durch die Integration des 53 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 breiten Spektrums an Lernmaterialien und -ressourcen für Nutzer und Nutzerinnen aus und ermutigt Lehrkräfte und Bildungseinrichtungen dazu, ihren Unterricht und ihre Bewertungs- methoden so anzupassen, dass die durch neue Technologien entstehenden Vorteile und Möglichkeiten genutzt werden können. In dieser Studie werden jedoch keine spezifischen Beispiele angeboten. Auch Huang und Li (2023) kommen zu der Feststellung, dass mittels KI immens viel Zeit und Mühe eingespart werden, welche die Lehrkräfte für die eigentlichen Unterrichtsaktivitäten intensiver nutzen und die Qualität sowie Effektivität ihres Unterrichts verbessern können, damit das Ziel personalisierter und effizienter Bildung erreicht wird. Koraishi (2023) fügt hin- zu, dass ChatGPT konsequent unter der Aufsicht von Experten und Expertinnen eingesetzt werden sollte, da die Möglichkeit von Fehlern, unsinnigen Ausgaben oder ungenauen Infor- mationen aufgrund seiner Grenzen stets präsent ist. In seiner Studie untersuchte Koraishi (2023) die vielseitigen Anwendungen von ChatGPT als wertvolles Tool im Werkzeugkasten von Englisch als Fremdsprache, wobei der Fokus insbesondere auf der Materialentwicklung und Bewertung lag. In Bezug auf den Wortschatzerwerb wurde festgestellt, dass Lehrer und Lehrerinnen durch das Entwerfen geeigneter Anweisungen und die Bereitstellung der not- wendigen Parameter die Fähigkeiten von KI nutzen und zahlreiche Zielvokabeln in generierte Texte integrieren können. Dies reduziert nicht nur die zuvor mit der Anpassung von Materia- lien verbundene Zeit und Mühe, sondern ermöglicht es Lehrer und Lehrerinnen auch, effi- zient auf die vielfältigen Wortschatzbedürfnisse ihrer Schüler und Schülerinnen einzugehen und so letztendlich das gesamte Lernerlebnis zu verbessern. Wie aus Studien zu ChatGPT im Fremdsprachenunterricht ersichtlich ist, sind diese rar und beschränken sich hauptsächlich auf die allgemeinen Vorteile und Möglichkeiten, ohne eine fundamentierte Analyse über die Leistung von ChatGPT darzubieten. Gerade in diesem Kon- text zeigt sich die Notwendigkeit, eine gezielte Untersuchung der Leistungsfähigkeit von ChatGPT-3 vorzunehmen, um spezifische Herausforderungen beim Lehren und Lernen von Fachterminologie im DaF-Unterricht zu identifizieren und anzugehen. 4 Zielgerichtetes Lehren und Lernen der Terminologie im DaF als Fachsprache mit KI Terminologie bezieht sich auf den „spezifischen Wortschatz eines bestimmten Gebiets“ (Arntz, Picht & Schmitz 2014, S. 11), obwohl sie oft verständlich erscheinen kann, selbst wenn man sich mit dem jeweiligen Fachgebiet nicht auskennt. Breite Fachgebiete, wie beispielswei- se Agrarwissenschaften oder Technik, reichen aber oft nicht aus, um wahrscheinliche Bedeu- tungen zu identifizieren. Die Terminologie ist auch nicht Teil der ‚muttersprachlichen‘ Kom- petenz. Sie muss gemeinsam mit dem Fachgebiet erlernt werden. Um Fachtermini zu identi- fizieren, kann man in Fachwörterbüchern oder einschlägigen Fachtexten nachschauen. Alles, was dort definiert wird, kann als Terminus bezeichnet werden (Hagemann, 2024, S. 145-146). Von zahlreichen DaF-Experten und -Expertinnen wird darauf hingewiesen, dass der Erwerb von Terminologie das Alpha und Omega des Fachsprachenunterrichts ist (Benouddane, 2016, S. 56). Obwohl viele das auch als eine Einschränkung des Fachsprachenunterrichts be- trachten, wird es meistens noch so interpretiert. Weil der Erwerb von Fachtermini als so 54 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 wichtig empfunden wird, steht auch die Frage im Vordergrund, wie und wie gut KI uns dabei unterstützen kann und wie hilfreich sie für die Studierende als alleinstehendes Lernhilfsmit- tel ist, wobei natürlich weiterhin die Sorge um die Richtigkeit des KI-produzierten Lerninhal- tes besteht. Im Sprachunterricht der Agrarwissenschaften haben wir traditionellerweise Fachsprachen- lehrer und Fachsprachenlehrerinnen, die sich mit den Themen der Landwirtschaft und der relevanten Fachsprache befassen und somit ein breites und verknüpftes Netzwerk an Kennt- nissen erwarben, die sie auch kreativ anwenden und den Studierenden vorstellen. In diesem Artikel wird untersucht, inwieweit KI diese Aufgabe bereits übernehmen kann. Die potenziel- le Zielgruppe für den Einsatz der Terminologie-Erstellung oder -Extraktion sind Studierende der Agrarwissenschaften, die im Rahmen ihres Studiums einen Deutschkurs für Fachsprache auf Niveau B1 bis C1 besuchen. Die Gruppen enthalten meist 6 bis 10 Teilnehmer. Der Einsatz von KI ist derzeit noch nicht direkt im Curriculum dieser Kurse verankert, wird jedoch zumin- dest erwähnt und mit den Studierenden diskutiert, insbesondere im Zusammenhang mit der eigenständigen Kurs-Lernplanung. 5 Untersuchungsgrundlagen In diesem Kapitel wird die Herangehensweise an die Datenerhebung für die vorliegende Stu- die beschrieben. Ziel der Studie war es zu untersuchen, wie gut ChatGPT in der Lage ist, Fachterminologie aus den Bereichen Landwirtschaft und Klimawandel zu erkennen und wie präzise ChatGPT-3 das grammatische Geschlecht (Maskulinum, Femininum oder Neutrum) und den Numerus von Substantiven angeben kann. Mit „gut“ ist der Prozentsatz der Richtigkeit der von ChatGPT-3 generierten Daten gemeint. Dadurch wollten wir auch herausfinden, wie verlässlich ChatGPT-3 als Selbstlern-Instrument für Studierende der Agrarwissenschaften ist. Die Forschungsfragen lauteten daher: (1) Wie präzise kann ChatGPT-3 Fachterminologie aus den Themenbereichen Landwirtschaft und Kli- mawandel erkennen? (2) Wie genau kann ChatGPT-3 das grammatische Geschlecht (Genus) oder die Anzahl (Numerus) von Substantiven angeben? Unter Einbeziehung der Daten zu Frage 1 und 2 wollten wir zudem herausfinden: Was sind die Vor- und Nachteile der Nutzung von ChatGPT-3 als Selbstlern-Instrument für Studierende der Agrarwissenschaften? Unsere Hypothese war, dass ChatGPT-3 Fehler machen würde und daher derzeit noch nicht als voll- ständig verlässliches Selbstlern-Instrument eingesetzt werden kann. Die Ergebnisse bestätig- ten diese Hypothese. Die Daten für die Analyse wurden sechs sorgfältig ausgewählten Artikeln aus Zeitungen und Fachzeitschriften entnommen, nämlich News.at, Bauernzeitung, umweltbundesamt.de, Wo- chenblatt und 3drei3.de (Professionelle Schweine Community). Alle Artikel stammen aus den Jahren 2022 und 2023, haben eine ungefähre Länge von 1000 Wörtern und wurden von ChatGPT-3 bezüglich des Sprachniveaus B2/C1 (Europäischen Referenzrahmen) bewertet. Thematisch konzentrieren sich die ausgewählten Zeitschriftenartikel auf die Landwirtschaft in Zeiten des Klimawandels. Dieses Thema ist aktuell und behandelt landwirtschaftliche Fra- gen im Kontext des grünen Wandels und der Klimakrise. Alle Texte sind öffentlich zugäng- lich und kostenlos verfügbar. Fachsprachenlehrer und Fachsprachenlehrerinnen erkennen 55 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 Wörter aus Bereichen wie Umweltverschmutzung, Wetter, Tierphysiologie usw. sofort als landwirtschaftliches Vokabular, da diese Bereiche eng mit der Landwirtschaft verknüpft sind. Die Daten aus den Zeitschriftenartikeln wurden innerhalb der ersten zwei Wochen im Novem- ber 2023 von ChatGPT-3 und den beiden Autorinnen bearbeitet. ChatGPT-3 hat für alle Artikel den folgenden Prompt erhalten: „Extrahiere aus diesem Text die deutschsprachige landwirt- schaftliche Fachterminologie unter Berücksichtigung des grammatischen Geschlechts und des Numerus der Substantive. Auch Adjektive und Verben sind systematisch einzubeziehen.“ Hier ist ein Beispiel was ChatGPT-3 produziert hat: • Veränderungen (noun): changes • Niederschlags (noun): precipitation • Klimawandels (noun): climate change • wirken (verb): have an effect, • Landwirtschaft (noun): agriculture Hier ist zu beobachten, dass ChatGPT-3 in Gegensatz zum Prompt den Artikel nicht ange- wandt hat. Beispiel 2: • Mais-Erträge (die, plural): maize yields • Weizenerträge (die, plural): wheat yields • zurückgehen (verb): decrease • steigen (verb): increase Das zweite Beispiel stammt aus einem anderen Text als das erste. Beide wurden mit dem- selben Prompt bearbeitet, jedoch hat ChatGPT-3 nur beim zweiten Text den Artikel des Subs- tantivs angegeben. Das Ziel der vorliegenden Forschung war es, die von ChatGPT-3 extrahierten Daten hinsicht- lich ihrer Eignung für das einwandfreie Lernen der Studierenden zu überprüfen und ihre Richtigkeit festzustellen. Die von ChatGPT-3 produzierten Daten wurden sowohl auf ihre Be- deutung als Agrartermini als auch auf oben erwähnten Grammatikkategorien (Genus und Numerus) geprüft. Nachdem ChatGPT-3 die Ergebnisse generiert hatte, haben wir die Richtig- keit der extrahierten Substantiv-, Verb- und Adjektiv-Fachtermini überprüft. Bei Unstimmig- keiten haben wir diese gemeinsam besprochen und bei Bedarf eine dritte Person zur Klärung hinzugezogen. Anschließend haben wir alle von ChatGPT-3 als Fachtermini identifizierten Be- griffe gezählt und überprüft. Dabei haben wir sorgfältig die Anzahl der korrekten und fehler- haften Auswahl ermittelt sowie die Fälle, in denen ChatGPT-3 das Genus und den Numerus richtig bestimmt hat. Auf dieser Grundlage wurde die Fehlerquote von ChatGPT-3 berechnet. Der Numerus war ursprünglich nicht im Prompt verlangt, wurde dennoch numerisch erfasst, da ChatGPT-3 diese Angabe von sich aus angeboten hat. Bei der Datenanalyse haben wir zudem verschiedene Beobachtungen festgehalten, die unserer Meinung nach für ein Selbst- lern-Instrument wichtig sind. Zum Beispiel zeigte ChatGPT-3 6bei demselben Prompt in un- terschiedlichen Texten teils unterschiedliche Ergebnisse an – in einem Fall gab es den Artikel an, im nächsten Fall jedoch nicht. Dies könnte für die Studierenden verwirrend sein. 56 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 Vor der Datenanalyse mit ChatGPT-3 haben sich die Autorinnen mit dem Tool vertraut ge- macht und das Verständnis für seine grundlegenden Möglichkeiten und Grenzen kennenge- lernt. Dies wurde durch die Erkundung der OpenAI-Dokumentation, Richtlinien und Beispiele durchgeführt, um das potenzielle Anwendungsspektrum des Modells zu erfassen. Wir haben gelernt, dass es vor dem Einsatz von ChatGPT-3 wichtig ist, das Gespräch durch klare An- weisungen und Kontext zu strukturieren. Begonnen wurde mit einer kurzen Einleitung, der Angabe des Zwecks und der Festlegung eventueller Einschränkungen, um die Antworten der KI zu steuern. Im Voraus festgelegte Erwartungen gewährleisten, dass das Gespräch auf Kurs bleibt und sich mit spezifischen Anforderungen abstimmt. Um die Qualität der Antworten von ChatGPT-3 zu verbessern, müssen präzise und gut kontextualisierte Prompts formuliert werden. Es empfiehlt sich, den Kontext explizit anzugeben und komplexe Fragen in kleinere, leichter handhabbare Teile aufzuschlüsseln, damit ChatGPT sie besser verstehen und effektiv beantworten kann. Beispiele angeben oder gewünschte Ergebnisse spezifizieren, kann eben- falls die Nützlichkeit der Antworten verbessern. Wir haben beim Überblick der Lernfähigkei- ten von ChatGPT-3 auch Daten und Systeme gefunden, wie die KI „trainiert” werden kann, um genauere Antworten zu erhalten. Dennoch haben wir uns bewusst entschlossen, dies nicht zu tun, um das realistische Szenario zu erhalten, wie ein Agrarstudent bzw. eine Agrarstu- dentin KI anwenden würde, um relevante Fachterminologie in Texten zu finden. Es ist höchst unwahrscheinlich, dass die Studierenden eine „Trainingsphase” von ChatGPT durchführen würden, um die Terminologie besser auszulesen. Nachdem die Anfrage an ChatGPT-3 gestellt wurde, hat die KI-Software eine Liste von Fach- termini aus den Artikeln herausgefiltert und sie unterschiedlich geordnet. Bei manchen Ter- mini wurde die Wortart bestimmt, aber nicht bei allen, bei einigen wurde der Artikel angege- ben (manchmal auch falsch, wie zum Beispiel „der Sorge”), bei anderen wieder nicht, was wir in der anschließenden Datenbearbeitung detaillierter vorstellen. 6 Ergebnisse Eine der Säulen des fachbezogenen DaF-Unterrichts ist das korrekte Erlernen des neuen Vo- kabulars. Diesbezüglich haben wir bei den ChatGPT-Extrahierungen (die Fachtermini und de- ren grammatische Eigenschaften, die von ChatGPT aus den Texten extrahiert und angegeben wurden) folgende Kategorien beobachtet, die für den Erwerb des Vokabulars und dessen spätere richtige Anwendung von großer Bedeutung sind: bestimmter Artikel (Genus), Wort- artangabe, Numerus, Bedeutungsrelevanz und nützliche Nominalkomposita. Dabei mussten wir in Erwägung ziehen, dass Kategorien wie Numerus und Nominalkomposita nicht explizit im Prompt verlangt, sondern trotzdem von ChatGPT angegeben wurden. Da es sich hierbei um grundlegende Daten für das präzise und erfolgreiche Lernen der Studierenden handelt, war es unser Ziel, deren Genauigkeit zu evaluieren. Die von ChatGPT-3 generierten Daten wurden sowohl hinsichtlich der korrekt extrahierten Grammatikkategorien, wie der Angabe und Richtigkeit des Artikels, als auch der Wortartzuordnung und des Numerus überprüft, wie in Tabelle 1 dargestellt. Tabelle 2 analysiert die Fachrelevanz der extrahierten Terminologie im Kontext der Agrarwissenschaften. In Tabelle 1 wird die Zuordnung grammatikalischer Kategorien für Fachtermini aus allen sechs untersuchten Zeitungsartikeln dargestellt. Sie enthält sowohl die Gesamtanzahl der 57 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 von ChatGPT-3 extrahierten Kategorien als auch die von den Forscherinnen bzw. Fachspra- chelehrerinnen festgelegten Kategorien zur Überprüfung der Ergebnisse. Tabelle 1 Summe der grammatikalischen Kategorien für Fachtermini Grammatische Kategorien Gesamtanzahl der Kategorien von ChatGPT-3 Gesamtanzahl der Kategorien ermittelt durch Forscherinnen/ Fachsprachelehrerinnen Die korrekte Angabe des bestimmten Artikels von der Gesamtzahl aller extrahierten Nomen 387 411 Die korrekte Angabe der Wortart von der Gesamtzahl aller extrahierten Wörter 183 552 (nur bei Adjektiven oder Verben wurde die Wortart angegeben, sonst keine) Die korrekte Angabe des Numerus von der Gesamtzahl aller extrahierten Nomen 178 430 Aus Tabelle 1 geht hervor, dass ChatGPT-3 nur bei 94,16 Prozent der extrahierten Substanti- ve das korrekte Genus angibt. Zudem treten bei den angegebenen Artikeln 9,2 Prozent Fehler auf, wie beispielsweise „das CO2-Bilanz“ oder „der Treibhausgas“. Bei der Kategorie „Wortart von der Gesamtzahl aller extrahierten Wörter“ wurde die Wortart in 33,15 % der Fälle korrekt angegeben. Dabei war die Wortart ausschließlich bei Adjekti- ven und Verben spezifiziert. In einem anderen Text, der mit demselben Prompt bearbeitet wurde, wurden hingegen keine Wortarten angegeben. Bei der Kategorie „Numerus von der Gesamtzahl aller extrahierten Nomen” wurde die Wortart in 41,39 % der Fälle korrekt ange- geben. Der Numerus wurde lediglich bei zwei von drei Texten angegeben, obwohl alle Texte mit demselben Prompt bearbeitet wurden. In Tabelle 2 sind alle relevanten Fachtermini für Agronomie aus den sechs Artikeln zusam- mengefasst, ebenso wie die Gesamtzahl der von ChatGPT-3 extrahierten Fachtermini. Tabelle 2 Darstellung der relevanten Agronomie-Fachtermini Relevanz der Fachtermini ChatGPT-3 (Gesamtzahl der Fachtermini) Gesamtzahl der Fachtermini ermittelt durch Forscherinnen/ Fachsprachelehrerinnen Relevant für Agronomie von allen relevanten Termini 452 602 Irrelevant für Agronomie 52 / Angegebene relevante Nominalkomposita im Verhältnis zu allen relevanten Nominalkomposita 234 388 58 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 In Tabelle 2 wird ersichtlich, dass ChatGPT-3 lediglich 75,08 Prozent der relevanten Fach- termini aus den Texten korrekt erkannt hat. Zudem hat ChatGPT 52 Wörter als Fachtermini klassifiziert, die nicht als solche einzustufen sind, wie beispielsweise „geringeres“ oder „kom- pensieren“. Besonders bei Nominalkomposita hat ChatGPT nur 77,08 Prozent als relevant identifiziert. 7 Diskussion und Handlungsempfehlungen Die oben dargestellten Daten verdeutlichen sowohl positive als auch negative Aspekte der Verwendung von ChatGPT 3.0 im fachbezogenen DaF-Unterricht. Es sollte jedoch berück- sichtigt werden, dass inzwischen neuere Versionen der KI, wie ChatGPT 4.0 oder ChatGPT 4.1, verfügbar sind, die möglicherweise zu veränderten Analyseergebnissen führen könnten. Die von ChatGPT bereitgestellte Unterstützung kann auch motivierend wirken, da der erste Schritt, das Heraussuchen der Termini, eingeleitet wurde. Unverzichtbar ist eine sorgfältige Überprüfung, vorzugsweise durch einen Fachdeutschlehrer oder eine Fachdeutschlehrerin. ChatGPT eignet sich auch hervorragend als Unterrichtsinstrument, um die Studierenden zum kritischen Nachdenken anzuregen. Es fördert die Auseinandersetzung mit den tatsächlichen Möglichkeiten der KI und ermutigt sie, ihre eigene Informationsbasis bezüglich Fachtermini zu überprüfen. Andererseits ist festzustellen, dass ChatGPT gemäß den oben genannten Daten weiterhin zu viele Fehler bei der Extraktion von Fachtermini im Bedeutungsrahmen sowie bei der Bestim- mung von grammatischen Kategorien wie Genus oder Numerus aufweist. ChatGPT hat zwar bei 94,16 Prozent der extrahierten Nomen das Genus korrekt angegeben, jedoch bedeutet dies, dass 5,84 Prozent der Genera potenziell falsch von den Studierenden erlernt werden könnten. Das bedeutet wiederum, dass ChatGPT im Moment noch nicht als selbstständige Lernhilfe von Studierenden benutzt werden kann. In der Kategorie „Wortart von der Gesamt- zahl aller extrahierten Wörter” wurde die Wortart lediglich bei 33,15 Prozent der Fälle korrekt bestimmt. Bei den verbleibenden 66,85 Prozent besteht die Möglichkeit von Fehlern, falls die Studierenden die Wortart eigenständig ermitteln müssen. Ähnliches gilt für die Kategorie „Numerus von der Gesamtzahl aller extrahierten Nomen”, in der die Wortart nur bei 41,39 Prozent der Nomen korrekt bestimmt wurde. In den Bedeutungskategorien hat ChatGPT lediglich 75,08 Prozent aller relevanten Termini aus den Texten identifiziert. Darüber hinaus wurden 52 Begriffe von ihm fälschlicherweise als Fachtermini klassifiziert, obwohl sie nicht als solche gelten können. Zudem hat ChatGPT nur 77,08 Prozent aller relevanten Nominalkomposita angegeben. Diese Ungenauigkeiten könnten zu Problemen bei der Interpretation von Bedeutungen und beim Leseverständnis der Studierenden führen, da Bedeutungen häufig aus dem Kontext der Wörter erschlossen werden. Natürlich weist auch diese Studie, wie jede andere, gewisse Einschränkungen auf. Der ers- te Aspekt, den wir hervorheben möchten, ist die begrenzte Anzahl der analysierten Tex- te. Eine umfassendere Textbasis würde ein realistischeres Bild liefern und zu fundierteren Schlussfolgerungen führen. Daher empfehlen wir, eine ähnliche Studie in einem erweiter- ten Rahmen durchzuführen. Ein weiteres Problem betrifft die Auswahl der Termini und der 59 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 grammatikalischen Merkmale durch die Forschenden und Lehrenden. Es besteht die Mög- lichkeit, dass auch Wissenschaftler und Wissenschaftlerinnen bei der Auswahl von Termini Fehler machen. In unserer Studie haben wir jedoch sichergestellt, dass die Auswahl der Ter- mini durch gegenseitige Überprüfung unter den Forschenden validiert wurde. Zusätzlich gibt es Herausforderungen bei der Definition des „Fachterminus“. Die Forschenden benötigen einen klareren Konsens darüber, welche Begriffe als Fachtermini betrachtet werden sollen. Im Folgenden werden wir uns den Schlussfolgerungen zuwenden. 8 Schlussfolgerungen Im schnelllebigen Technologiebereich ist es selten, dass eine neue Entwicklung in so kur- zer Zeit für Aufsehen sorgt wie ChatGPT. In nur wenigen Monaten hat dieses revolutionäre KI-Sprachmodell die Welt im Sturm erobert. Während die technikaffinen und engagierten Lehrer und Lehrerinnen ihre beeindruckende Funktionalität feiern, betrachten viele dies mit Staunen und zugleich mit Bedenken. Die EU hat politische Maßnahmen und Initiativen zur Verbesserung der digitalen Kompe- tenzen von Arbeitnehmern und Verbrauchern entwickelt. Digitale Kompetenzen sind nicht nur im Privatleben, sondern auch am Arbeitsplatz von entscheidender Bedeutung, da über 90 Prozent der Berufe in Europa digitale Grundkenntnisse erfordern. Trotzdem fehlen diese rund 42 Prozent der europäischen Bevölkerung, darunter 37 Prozent der Erwerbstätigen. Es ist ebenso von Bedeutung, unsere digitalen Fähigkeiten über das Grundniveau hinaus zu er- weitern, die in verschiedenen Bereichen, wie digitalem Marketing und sozialen Medien, von großem Nutzen sein können. (Europäische Kommission, o. D.) Zusätzlich gewinnen digita- le Kompetenzen am Arbeitsplatz zunehmend an Bedeutung, weshalb auch Studierende der Agrarwissenschaften ihre Kompetenzen verbessern sollten. Obwohl KI-Tools wie ChatGPT die Lernautonomie der Studierenden fördert und Lehrenden die Unterrichtsvorbereitung er- leichtert, sollte man sie verantwortungsvoll nutzen, um u. A. keine Urheberrechtsverletzun- gen zu begehen. Die weltweite Rechtslage zu ChatGPT und ähnlichen KI-Technologien variiert stark; einige Länder haben sich für strikte Regulierungen oder sogar Verbote entschieden (z.B. China), während andere einen freizügigeren Ansatz verfolgen (siehe „Ist es verboten, ChatGPT zu nutzen? Verständnis der Regulierungen“, o. D.). In letzter Zeit wurden auch Sank- tionen für die Reproduktion von Materialien anderer ohne entsprechende Quellenangabe eingeführt. Terminologie ist für angehende Agrarwissenschaften-Experten und -Expertinnen nach wie vor sehr bedeutsam, da sie einen der Bausteine ihres Verstehens und ihrer Kommunikation im Arbeitsbereich darstellt. Deshalb muss beachtet werden, dass KI von den Studierenden nicht eigenständig angewendet werden kann, bis wir sicher sind, dass sie Terminologie ein- wandfrei erkennt. Der Einsatz von ChatGPT kann beim Selbstlernen erhebliche Nachteile mit sich bringen, da die KI die Termini offensichtlich nicht miteinander verknüpft und sie daher nicht als zusam- menhängend wahrnimmt. Infolgedessen ist es sehr wahrscheinlich, dass die Studierenden sich im Falle der Nutzung von ChatGPT nur unzureichend oder gar nicht mit der relevanten Terminologie auseinandersetzen würden. 60 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 Ein Beispiel hierfür ist das Verb „wirken“, welches von ChatGPT in unserem Fall fälschlicher- weise als Fachterminus identifiziert wurde. Studierende könnten dieses Verb ausschließ- lich im Fachkontext verwenden, was zu einem begrenzten und ungenauen Sprachgebrauch führen würde. Zudem könnte eine Kollokation wie „sorgfältig untersuchen“, die sowohl in wissenschaftlichen als auch in alltäglichen Kontexten verwendet wird, von den Studieren- den aufgrund der fehlerhaften Zuordnung durch ChatGPT nur in wissenschaftlichen Zusam- menhängen verwendet werden. Dies würde ihren Wortschatz unnötig einschränken und die Sprachkompetenz negativ beeinflussen. Unsere Empfehlung wäre, ChatGPT für Übungen im Unterricht zu nutzen, in denen die Stu- dierenden mit den Lehrenden diskutieren können, welche Fehler bei der Terminologie-Ex- trahierung von KI vorkommen und wieso es möglicherweise dazu kommt. Es wäre zudem sinnvoll, detaillierter darüber zu diskutieren, wie KI trainiert werden kann, um Fehler zu ver- ringern, oder Vergleiche anzustellen, wie die KI lernt und wie die Studierenden selbst Sprache erwerben. Die Erfolgsquote von ChatGPT bei der Extrahierung von Fachtermini ist also unserer Meinung nach noch ungenügend, um ihn als ein Selbstlerninstrument einzusetzen. Die Studierenden, die ihn nutzen möchten, benötigen für den Erwerb korrekter Informationen und Interpretatio- nen noch viel Unterstützung durch Fachsprachenlehrer und Fachsprachenlehrerinnen. Gemäß dieser Studie kann ChatGPT eine interessante Möglichkeit für die Entwicklung von Lehrmate- rialien sein, deren zielgerichteter Einsatz bei den Studierenden der Agrarwissenschaften eine Brücke zwischen fachspezifischer Terminologie und effektivem Sprachunterricht mit ChatGPT baut. Die gewonnenen Erkenntnisse liefern wertvolle Einblicke in den Einsatz von ChatGPT im Bildungskontext und unterstützen eine realistische Integration von KI in den Lehrplan. Literatur AI. (2024). AI generierte Inhalte für Bildung und Lernen – FasterCapital. FasterCapital. https://fasterca- pital.com/de/inhalt/AI-generierte-Inhalte-fuer-Bildung-und-Lernen.html Arntz, R., Picht, H., & Schmitz, K. (2014). Einführung in die Terminologiearbeit. Olms. Benouddane, A. (2016). Beitrag der Fachsprache zum Wortschatzlernen im DaF-Unterricht. Traduction et Langues, 15(2), 55–63. https://doi.org/10.52919/translang.v15i2.687 Damberger, T. (2017). Von der Abschaffung des Lehrers Die Zukunft des selbstgesteuerten Lernens mit digi- talen Medien. Friedrich Verlag GmbH. https://www.friedrich-verlag.de/friedrich-plus/schulleitung/ digitale-schule/von-der-abschaffung-des-lehrers-1449 Dongmo, J., Krüßmann, M., & Weimann, F. (2023). ChatGPT – Dein Freund und Helfer im Hochschulalltag? https://www.fh-muenster.de/itb/downloads/lehre-neu/michel-fabian/ChatGPT_-_Dein_Freund_ und_Helfer_im_Hochschulalltag.pdf Europäische Kommission. (o. D.). Digitale Kompetenzen. https://digital-strategy.ec.europa.eu/de/ policies/digital-skills Gabler Wirtschaftslexikon. (o. D.). Prompt. Definition: Was ist „Prompt“? Springer Gabler. https://wirt- schaftslexikon.gabler.de/definition/prompt-125087 Hagemann, S. (2024). Recherche im Translationsprozess: Ein Lehr- und Studienbuch. Arbeiten zur Theorie und Praxis des Übersetzens und Dolmetschens, Band 129. Frank & Timme GmbH. 61 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 Hein, L., Högemann, M., Illgen, KM., Stattkus, D., Kochon, E., Reibold, M.-G., Eckle, J., Seiwert, L., Beinke, J. H., Knopf, J., & Thomas, O. (2024). ChatGPT als Unterstützung von Lehrkräften – Einordnung, Analyse und Anwendungsbeispiele. HMD Praxis der Wirtschaftsinformatik, 61, 449–470. https:// doi.org/10.1365/s40702-024-01052-9 Hin Hong, W. C. (2023). The impact of ChatGPT on foreign language teaching and learning: Opportuni- ties in education and research. Journal of Educational Technology and Innovation, 3, 37–45. https:// doi.org/10.61414/jeti.v5i1.103 Huang, J., & Li, S. (2023). Opportunities and challenges in the application of ChatGPT in foreign langua- ge teaching. International Journal of Education and Social Science Research, 6(4), 75–89. https://doi. org/10.37500/IJESSR.2023.6406 „Ist es verboten, ChatGPT zu nutzen? Verständnis der Regulierungen”. (o. D.). Herfurtner. https://kanz- lei-herfurtner.de/chatgpt-verboten/ Koraishi, O. (2023). Teaching English in the Age of AI: Embracing ChatGPT to Optimize EFL Materials and Assessment. Language Education & Technology, 3(1), 55–72. Luge, R. (2023). Die 50 besten ChatGPT Prompts. Kopf & Stift. https://kopfundstift.de/chatgpt-prompts/ Mahnke, F. (2023). GPT-4: Der neue Heilige Gral der KI-Sprachmodelle? OMR Reviews. https://omr.com/ de/reviews/contenthub/chatgpt-4 Mehmke, S. (2023). ChatGPT von OpenAI: Weitere Verbesserungen angekündigt. ComputerBild. https:// www.computerbild.de/artikel/ChatGPT-deutsch-kostenlos-testen-35038619.html Meršnik, M., Đorđević, D., & Anđelković, J. (2023). Tailor-made ESP teaching materials for HEIs – two case studies. Scripta Manent, 18(1), 93–102. Mey, S. (2023). Chat GPT: Mit diesen Tipps schreibt die künstliche Intelligenz bessere Texte. Der Stan- dard (05.01.2023). https://www.derstandard.de/story/2000142293035/chat-gpt-mit-diesen- tipps-schreibt-die-kuenstliche-intelligenz-bessere Mykhalevych, N. (2024). Menschliches Lernen vs. KI: Die Bedeutung von sozialer Interaktion. Preply. https://preply.com/de/blog/lernen-mit-ki/ Noack, A. (2023). Wie man perfekte Prompts für ChatGPT verfasst. Künstliche Intelligenz: Ratgeber. https://digital-magazin.de/perfekte-prompts-fuer-chatgpt-verfassen/ Rudolph, J., Tan, S., & Tan, S. (2023). ChatGPT: Bullshit spewer or the end of traditional assess- ments in higher education? Journal of Applied Learning and Teaching, 6(1), 342–363. https://doi. org/10.37074/jalt.2023.6.1.9 Seemann, M. (2023). Künstliche Intelligenz, Large Language Models, ChatGPT und die Arbeitswelt der Zu- kunft. Working Paper Forschungsförderung. Hans-Böckler-Stiftung. 62 Težak, Orthaber / Scripta Manent XIX/1 (2024), 49–62 Povzetek Poučevanje kmetijskega strokovnega besedišča s pomočjo umetne inteligence ChatGPT: prednosti in pomanjkljivosti Vključevanje umetne inteligence (UI), kot je ChatGPT, v poučevanje tujega jezika stroke ponuja bodočim strokovnjakom in strokovnjakinjam kmetijstva nove možnosti za usvajanje strokovnega besedišča in razvijanje jezikovnih zmožnosti. V prispevku proučujemo uporabo ChatGPT-ja za usvajanje strokovne terminologije pri pouku nemščine kot jezika stroke na eni izmed slovenskih univerz. S pomočjo analize smo poskušali ugotoviti, kako uspešen je pri jezikovni obdelavi strokovnih besedil s področja kmetij- stva, zelenega prehoda in trajnostnosti. V tem okviru smo proučili, katere izraze ChatGPT-3 prepozna kot pomembne za poučevanje nemškega jezika stroke. Pri tem smo izračunali stopnjo zanesljivosti uporabe tega orodja, in sicer tako, da smo terminologijo, ki jo je na podlagi ukaza ponudil ChatGPT-3, primerjali z naborom terminov, ki so jih iz istega gradiva izluščili raziskovalci. Ugotovili smo, da Chat- GPT-3 sicer ponudi termine, ki so pomembni za študente in študentke kmetijskih ved, a tudi takšne, ki so lahko zavajajoči. Obenem smo preučili tudi koristnost in zanesljivost dodatnih informacij, ki jih je izpisal ChatGPT, kot na primer slovnični spol in število. Študija bi lahko prispevala k razvoju ciljno usmerjenih učnih gradiv za študente in študentke kmetijskih ved, pri čemer bi študenti in študentke sami izboljšali seznam terminov, ki jih je izbral ChatGPT, ali poiskali napake. Ključne besede: ChatGPT, umetna inteligenca, nemščina kot tuji jezik, strokovno besedišče, kmetijske vede