Wir haben eine KI zum Abi geschickt - mit Christian Schiffer

No video

Wir haben eine KI zum Abi geschickt - mit Christian Schiffer | TINCON Berlin

Рет қаралды 13,561

Күн бұрын

Das Abitur in Bayern gilt als besonders schwer. Aber ist es auch zu schwer für eine künstliche Intelligenz? Der BR hat ChatGPT gegen den Endgegner der Schulprüfungen antreten lassen. Wie hat sich ChatGPT geschlagen? Und was kann man aus dem Experiment für den Einsatz von KI in der Schule lernen?
Sie schreibt Bewerbungsschreiben, tüftelt Kochrezepte aus, tritt in Talkshows auf, spricht mehrere Sprachen fließend und kreiert virtuose Cocktail-Rezepte. Doch bezwingt ChatGPT auch den Endgegner unter den Abschlussprüfungen? Oder genauer: Besteht die KI das bayerische Abitur? Genau das wollten die Computerlinguisten vom AI & Automation Lab des BRs herausfinden - zusammen mit Lehrern bayerischer Gymnasien, welche die Abi-Antworten korrigiert haben. In die Session zeigte Christian Schiffer, wie sie vorgegangen sind, wie ChatGPT sich geschlagen hat und was man daraus für den KI-Einsatz in der Schule lernen kann.
Moderation Bühne: Tessniem Kadiri
Fotocredit Thumbnail: TINCON/Gregor Fischer
Die TINCON Berlin 2024 fand in Kooperation mit der re:publica statt.
re:publica #rp24
KZfaq: @republica
Instagram: @re_publica
Bluesky: @re-publica.com
#TINCON #künstlicheintelligenz #ai #abitur #bildung #schule
------------------------------------------------------------------------------------------
Die TINCON ist das Festival für digitale Jugendkultur, Spitzenunterhaltung und Gedankenkombination. Mehr Info: tincon.org
Unsere Social-Media-Kanäle:
Insta » / tincon
Facebook » / tincon.org
TikTok » / what.politik
------------------------------------------------------------------------------------------
Christian Schiffer
tincon.org/spe...

Пікірлер: 45

@tobiasurban8065 Ай бұрын

Es geht nicht darum, ob man ChatGPT die Frage hätte anders stellen müssen, damit die Prüfung bestanden werden kann, sondern ChatGPT die gleichen Kontextinformationen zur Rolle, Prüfungsformat, Benotungskriterien, Erwartungen, etc., bereitzustellen, die dem Schüler bekannt waren.

@patrickhanft Ай бұрын

Absolute Zustimmung. Wer halbwegs professionell mit Chatbots agiert, versucht sie mit maximalem Kontext zu primen und entsprechend iterative Verbesserungen zu erzielen. Also so ähnlich wie die Schülerinnen und Schüler, die sich aufs Abitur vorbereiten … 😉

@Narohja 23 күн бұрын

Es wäre schon interessant für ChatGPD optimierte Fragen danach von Oberstufenschülern oder sogar "in der Fußgängerzone" lösen zu lassen. Vielleicht wären die Ergebnisse ebenfalls überraschend...

@kaihenne 20 күн бұрын

@@patrickhanft Ich stecke da manchmal so viel Arbeit rein, dass ich es schneller selbst machen könnte. Und gerade ChatGpt ist vergesslicher als Olaf Scholz.

@linesplitter9161 19 күн бұрын

Ja aber dem Schüler ist die Mindestwortzahl bekannt. Auch dass man Nebensätze bilden soll und wie ein Kommentar aussehen soll. Sprich dass was der Schüler während des Unterrichts vorab lernt was wichtig ist, muss man GPT natürlich auch in den Promt geben. Ergo ist dass schon wichtig Infos zu geben die über die reine Aufgabe hinaus gehen. Man könnte zb ein Custom GPT dafür erstellen.

@markushuber512 Ай бұрын

Ladet doch mal jemanden ein, der Ahnung von KI hat

@AlexanderWeixelbaumer Ай бұрын

Bei dem Fach Deutsch wäre es wichtig gewesen im Prompt zu erwähnen dass eloquente und dynamische Sprache verwendet werden soll. Die Standard-Sprache von ChatGPT ist tatsächlich sehr "platt". Der Mangel an Fachbegriffen in Geschichte könnte vermutlich auch mit dem richtigen Prompt behoben werden, z.B. "verwende Fachbegriffe wie sie ein deutscher Hochschulabsolvent verwenden würde". Grundsätzlich ist ChatGPT wie ein Taschenrechner. Der war früher an Schulen auch nicht erlaubt, weil, Zitat meiner Lehrer "Niemand immer ein Taschenrechner bei sich hätte". Die Geschichte belehrt. Ich programmiere hobbymässig und ChatGPT macht mich ca. 3 Mal schneller. Vieles klappt auf anhieb nicht, aber meistens im zweiten oder dritten Anlauf mit menschlichen Einwirken.

@407wrld3 Ай бұрын

ChatGPT ist aber eher so wie der erste Casio. Da kommt bald noch mehr, jeder kann bald ein (auch fähiges) LLM lokal laufen lassen und es deutet alles darauf hin, dass nahezu alle Modelle unter trainiert sind. Bei LLMs ist es aktuell so, dass sowohl software- und auch hardwareseitig noch einiges optimiert werden muss. Mal abgesehen von den anderen Faktoren die optimiert werden können. Wie du bereits geschrieben hast, kann durch Prompt Engineering, welches auf das Modell abgestimmt ist, auch noch einiges rausgeholt werden.

@DanielD168 28 күн бұрын

Sry ich entwickle viel in GPT und verwende es um Knowledge Graphen anzureichern und die Menschen in dem Video reden einfach nur ... . Warum mussten die Menschen die zu Wort kamen keine Kompetenz Preuefung machen? GPT koente zuerst die Qualifizierung der Sprecher checken, und dann entscheiden ob die passend fuer so einen Vortrag sind. Einfach mal umkehren und sehen in wie fern etwas besseres raus kommt XDD

@chrystal108reading4 22 күн бұрын

@DanielD168 Lieber Daniel, wie steht es denn mit Deiner SPRACH- und SCHREIB-Kompetenz ? ;)

@danieldefiebre 21 күн бұрын

@@el_carlitosway Naja es gibt durch LLMs eine ganz neue Berufsgruppe die nennt sich Prompt Engineer. Der macht nichts anderes als die Anweisungen an GPT so zu optimieren, dass das beste Ergebnis herauskommt. Das alles wird hier in dem Vortrag nicht beruecksichtigt

@DanielD168 18 күн бұрын

@@chrystal108reading4 sehr schlecht, ich eine lese rechtschreib schwaeche. Leider schaffe ich es nicht, das auf ein normales Level zu bringen.

@altEnte Ай бұрын

Das zeigt einfach, dass man sich als Mensch nicht künstlich aufblasen sollte, nur weil man an paar Wissensprüfungen bestanden hat.

@zapl80 Ай бұрын

Wenn ich Abitur als Benchmark nehme schaffe ich ein neues Optimierungsproblem was nichts darüber aussagt wie gut ein allgemeines Modell ist

@marcs.3853 20 күн бұрын

Imagine du musst bei der Hamburger Abi-Prüfung noch ChatGPT benutzen. 🤣

@viktorhugo8252 20 күн бұрын

Vielleicht war die Prüfung Abi 2023 einfacher als die von 2022. das erklärt das bessere Abschneiden.

@tobiasurban8065 Ай бұрын

13:36 - Die Aussage ärgert mich sehr, dass es ungewöhnlich sei, wie sehr die Leistung je nach Fach variiert, wobei man es bei Schülern eher mit isgesamt leistungsschwächeren oder leistungsstärkeren Schülern zu tun hätte? Bitte, wo ist der Beleg für diese These? Ich kenne dazu keine Studie. Was ich aus eigener Erfahrung weiß, ist, dass es sehr häufig vorkommt, dass Schüler in manchen Fächern sehr gut sein können und andere ihnen nicht liegen. Das Problem ist immer die Lehrkraft, die meint, von ihrem Fach auf die Gesamtleistung zu schließen. Es ist doch nicht so, dass die Fachlehrkraft am Ende das Abiturzeugnis vorgelegt bekommt.

@janbao7668 24 күн бұрын

Ich glaube der Geschichtslehrer hat die Varianz der Antwortqualität innerhalb des Geschichtsabiturs gemeint. Alles andere würde mich wundern.

@tobiasurban8065 24 күн бұрын

@@janbao7668- ein paar Sekunden früher, ab 13:16 wird es eindeutig

@korbendallasmultipass1524 Ай бұрын

Claude 3.5 hätte das wahrscheinlich hinbekommen. Habe ähnliche Aufgaben hier lösen lassen und das Ergebnis war bei längeren Texten deutlich besser.

@Silerra 20 күн бұрын

Zu den echt schwierigen Fragen in der Fragerunde gab es verblüffend gute Antworten. Ich brauche nichts mehr hinzuzufügen, da alle wichtigen somit aufgegriffen wurde.

@benjaminbeier4036 28 күн бұрын

Ebenfalls interessant wäre es gewesen die KI mit menschlicher Unterstützung das Abi schreiben zu lassen. Der Mensch selbst sollte dabei wenig Ahnung von den Prüfungsthemen haben, aber im Umgang mit ChatGPT geschult sein. Einfach um zu sehen wie weit jemand kommen kann, der keinen Peil hat aber schummelt.

@DanielD168 28 күн бұрын

wie war das Prompt engineering? das beeinflusst die qualitaet der ergebnisse. Wurde mit GPTs gearbeitet oder custom models? Das setting des Experimentes wurde nicht geframt

@Aufklaerung_Christentum Ай бұрын

Naja, ChatGPT hat nicht wirklich die ABI-Prüfung ausgefüllt, ansonsten bräuchte man noch eine Kamera, ein Texterkennungssystem (OCR) die Fragen erkennt und ein Roboterarm, der die Fragen mit Kuli beantwortet und die Blätter umdreht.

@Simon-od1iy Ай бұрын

Wie waren den die Ergebnisse bei GPT 4 bei den übrigen Fächern?

@datapanda5856 Ай бұрын

Was für eine schräge Methodik

@lalapatala781 16 күн бұрын

Auch total schlecht gepromted... Dass es keine 800 Wörter sind, hätte z.B. im Prompt explizit stehen müssen und wie überhaupt geschrieben werden soll. Finde das mehr als fragwürdig. Jemand, der sich damit auseinandersetzt, muss das einfach wissen.

@irinaciboch Ай бұрын

na, dann sind wir froh darüber, man muss Chat GPT so füttern, dass das richtige rauskommt. Würde Chat GPT kreativ werden und selbst denken, hätten wir sehr bald ein sehr großes Problem :D

@balyboo5856 Ай бұрын

...künstliche Intelligenz nur so schlau wie die Frage die man ihr stellt... nein, nur so gut wie die Quellen und wenn genug Leute mit Berliner Abitur im Internet behaupten KI Qualität hängt vor allem mit der Qualität der Fragen zusammen dann 'glaubt' das halt auch die KI. ChatGPT hat aus meiner Sicht auch noch ein massives Ideologie Problem, also dass Fragen zu aktuellen Themen, was ja bei einem Abitur durchaus passieren könnte, durch eine extrem linke Brille betrachtet werden. Da hätte der Copilot von Microsoft bessere Chancen, der scheint mir deutlich neutraler. Physik eine Aufgabe Lecksuche mit radioaktivem Thorium, da würde ChatGPT sicher mit unterbringen Atomkraft böse, Solarkraft toll, lass doch das Thorium weg.

@user-uh6co5ms6k Ай бұрын

Und das können Sie beurteilen? Wir wissen alle nicht, was in 6 Monaten ist, vor allem Sie nicht!

@pusel9016 Ай бұрын

Ich glaube ja eher, dass du ein kleines Ideologieproblem hast.

@407wrld3 Ай бұрын

Finde es krass, wie ChatGPT schon personifiziert wird. "Er hat ... gemacht". Zeigt schon, wie überzeugend menschlich das Modell wirkt.

@richardpolt3706 Ай бұрын

... er ist dann einfach stehen geblieben, der blöde BMW ... ... sie geht nicht auf, die Tür ... #generischesmaskulin

@zapl80 Ай бұрын

@@richardpolt3706 der BMW ist nicht generisches Maskulinum sondern der Artikel. Der Mond und die Sonne sind halt grammatikalisches Geschlecht. Generisches Maskulinum gibt es nur da wo es wirklich um menschliches Geschlecht geht und Dinge können in der Regel sowohl mit "der" als auch mit "die" bezeichnet werden. ChatGPT wird allgemein als Sache betrachtet und sprachlich so behandelt. Einen richtigen Artikel für ChatGPT gibt es auch nicht, der die das ChatGPT ist alles Blödsinn, es ist Englisch und damit "the", wir könne nicht anders als ein verglechbares deutsches Wort zu suchen und dessen Artikel zu nehmen. Lustig zu sehen bei der/die/das Quest.