Wieso sollte ein System, das in der Lage ist, medizinisches Wissen aus relevanten Quellen (Lehrbücher, Publikationen) zu erfassen, vorzuhalten und mit realen Fällen in Bezug zu setzen denn nicht hilfreich sein können?
Weil KI das letztlich nicht wirklich kann. LLMs haben kein Verständnis von Problemen. Sie haben auch kein wirkliches Wissen. Letztlich wird dort via Wahrscheinlichkeitsberechnung geschaut, welches Wort als nächstes vmtl. kommen sollte. Sie können auch Fakten nicht wirklich bewerten. Mir ist klar, dass es oft so wirkt - denn überzeugend klingt das ganze oft schon. Wenn man dann ein wenig tiefer schaut - landet man sehr schnell bei Halluzinationen, erfundenen Quellen, völligen Fehlinterpretationen. Und das schon bei sehr grundlegenden Fragen. Zumindest bei den großen generellen Modellen. Und das Halluzinieren ist meines Wissens nach ein bis heute nicht lösbares Problem.
Dadurch, dass die Daten und Quellen auch nicht kritisch interpretiert werden können - weil KI halt nicht wirklich interpretieren kann - dass die Medizinquellen grundsätzlich sehr biased sind. Einfach nur auf Lehrbücher und Publikationen basiert wird vmtl. nicht funktionieren, da du ja trotzdem Textausgaben bzw. Kommunikation/Verständnis brauchst. Und dann müsste man extrem viel Arbeit reinstecken, das der Model einzubläuen, dass verschiedene Studien verschiedene Stellenwerte haben. Und selbst das - wird z.B. Erfahrung nur selten ersetzen.
Wobei ich nicht sage, dass sowas ganz und garnicht hilfreich sein kann. Es kann - wenn verantwortungsbewusst genug eingesetzt - ein sinnvolles Tool sein. Aber man muss vorsichtig sein. Gerade sowas hier zu erwarten:
sondern tatsächlich strukturierte Problemanalysen und darauf aufbauende Lösungsvorschläge.
ist super gefährlich. Das kann KI quasi nicht. Sie scheint es zu können. Sie wird dir immer ausführliche Texte ausspucken. Die haben aber sehr häufig kein Hand und keinen Fuß. Das sieht man schon beim Programmieren bei den großen generellen Modellen - aber auch im kleinen. Oft verliert es sich in Allgemeinplätzen. Das liegt daran, dass KI schlicht kein wirkliches Verständnis von Infos hat. KI hat kein richtiges Verständnis im eigentlichen Sinne.
Nur mal als Beispiel - auch von nem generellen LLM:
Das KI-gestützte Feature "AI Overview" erkennt Witz und Satire nicht, was verstärkt zu inhaltlichen Fehlern bei der Suche führt
www.derstandard.de
-> man müsste hier extrem kuratiert durch die Daten gehen (ja, es gibt auch in wissenschaftlichen Studien hier und da Schwachsinn, genauso wie von predatory journals).
sondern auch im Sinne eines "Lernvorgangs" so verarbeitet wird, dass ein verbesserter Output erzeugt werden kann.
KI im Nachhinein zu trainieren führt zu diversen Problemen bzw. funktioniert kaum. Das sind Umwege, die häufig in total ungewollten Effekten enden. Beispiel: Du kannst einem fertigen Modell im Nachhinein etwas beibringen - allerdings "vergessen" diese Modelle dann an völlig anderen Stellen etwas. Daher werden die Modelle meist komplett neu trainiert - was du im Bereich der Medizin halt quasi ständig machen müsstest.
Ist möglicherweise aber ein lösbares Problem.
Fehldiagnosen sind üblicherweise nicht auf "schlechte Ausbildung" zurückzuführen, sondern meist ein Resultat menschlicher Schwächen im Moment der Diagnose.
Ja, u.a. wie z.T. gesagt wurde durch Überarbeitung und Co.. Aber die Realität ist - Fehler wird es immer geben. Wir müssen nur Wege finden, sie ständig weiter zu reduzieren. Hier sehe ich vllt. auch die größte Gefahr von KI. Es verleitet eben dazu, das Denken der KI zu überlassen & sich darauf zu verlassen. Wenn da ein Fehler passiert ist - war es halt die KI. Man denkt weniger nach, wenn ein Tool mal nicht zur Verfügung steht, wird es schwierig. Zumal es andere Fehler sind, die gemacht werden. Ärzte müssen sich zusätzlich zum medizinischen Bereich halt auch mit AI dann auskennen + da befähigt sein. Und wenn KI bei den Standardfällen richtig liegt, erwächst die Erwartung, dass das bei allen der Fall ist -> und bei den schwierigeren Fällen, mit wenigen Daten - wird es deutlich wahrscheinlicher, dass KI es eben nicht hinbekommt, aber total selbstbewusst ist.
Nur mal ein Beispiel zu den Limitationen und Problemen von KI
Bessere Vorsorge ist nie falsch, aber es verhindert nicht, dass es immer wieder Krankheiten, Verletzungen, medizinische Notfälle geben wird, die einfach halt passieren. Usw. usf.
Ja, wenn aber weniger Menschen ernsthaft krank werden - hat man mehr Ärzte bei den schwierigeren Fällen.
kann ich selbst nicht zuverlässig einschätzen
Das können wir sicherlich alle nicht. Ich stecke deutlich zu wenig in den Studien, die es da gibt. Wir sollten die Einführung einer wie auch immer gearteten Lösung auf alle Fälle intensivst mit entsprechenden Studien begleiten.
auf Werkzeuge und technische Hilfen zu verzichten
Ich sage auch nicht, dass wir darauf verzichten sollten. KI bietet große Chancen. Aber auch Risiken. Man muss vorsichtig sein - und schauen, wo KI sinnvoll - und wo nicht ist. Ob es nicht z.B. viel sinnvoller ist, einen großen Entscheidungsbaum zu entwickeln, der verfizier- und testbar, deterministisch entsprechende Vorschläge und Co. generiert. Gerade bei Situationen mit klaren Regeln wäre sowas aus meiner Sicht eher das Mittel der wahl.
Manchmal habe ich den Eindruck, es ginge darum, dass eine Maschine einfach Dinge nicht können dürfen soll, die bislang nur Menschen können. Aber warum?
Wir reden hier halt immernoch von schwacher KI, die sehr, sehr viel nicht kann.
Ich finde deine Batch-Skripte echt spannend! 
