Künstliche Intelligenz und vor allem LLMs gelten vielen als Hoffnungsträger für ein überfordertes Gesundheitssystem. Vor allem könnte KI-basierte Automation bei Aufgaben des Wissensmanagements schnell Entlastung bringen. Bis es so weit ist, müssen Probleme mit Security und Safety gelöst sowie rechtliche Anforderungen erfüllt werden. Die Forschung des Fraunhofer IKS nimmt sich beider Themen an.
21. August 2024
© iStock/vm
In den vergangenen Jahren, während und nach der Covid-Epidemie, ist unmissverständlich deutlich geworden, dass das Gesundheitssystem an seine Belastungsgrenze stößt. Dabei handelt es sich nicht nur um ein Problem auf nationaler Ebene, sondern um ein globales Phänomen. Studien haben die Ursachen längst identifiziert, vor allem: ein Mangel an qualifizierten Arbeitskräften [1], [2]. Die Folgen sind u.a. eine höhere Fehlerwahrscheinlichkeit bei medizinischen Entscheidungen oder Abläufen (Diagnose und Behandlung), weniger Zeit für komplexe Analysen, weniger Patienteninteraktionen, hohe Stressbelastung des medizinischen Personals, weniger Zugang zu qualitativ hochwertiger Versorgung, etc. In Deutschland verschärft die schleppende Digitalisierung das Problem durch eine fehlende oder unzusammenhängende Datenlage zusätzlich.
Es ist also keine Überraschung, dass große Hoffnungen in die Verheißungen der Automatisierung durch Künstliche Intelligenz (KI) gesetzt werden. Während sich diese Bemühungen anfänglich auf die komplexesten medizinischen Aufgaben konzentrierten, wie die Diagnose auf der Grundlage von KI-Bildklassifizierungen, so zeigt sich nun womöglich, dass weitaus größere und unmittelbarere Erleichterungen durch die Automatisierung von Wissensmanagement erreicht werden können. Ermöglicht wird dies durch die beeindruckenden Fähigkeiten neu entstehender generativer KI-Modelle (generative AI, genAI), insbesondere von Large-Language-Modellen (LLM), die natürliche Sprache verarbeiten und verstehen können.
Eine aktuelle McKinsey-Studie schätzt das ungenutzte Verbesserungspotenzial im globalen Gesundheitssystem auf etwa eine Billion Dollar [3]. Ein erheblicher Teil davon kann mit genAI erschlossen werden. Aber wie? Stellen Sie sich vor, es wäre möglich, nur einige der folgenden Aufgaben vollständig zu automatisieren [4]:
Alle oben genannten Beispiele und mehr können von einem LLM in Kombination mit entsprechenden Datenzugängen und einer angepassten Entscheidungslogik in Sekundenschnelle ausgeführt werden. Die Automatisierung solcher zeitaufwändigen Routineaufgaben spart Ressourcen für das Personal, das sich auf komplexe Aufgaben konzentrieren oder einfach nur mit mehr persönlicher Zuwendung arbeiten kann, welche die Patientinnen und Patienten mehr und mehr vermissen. Bereiche wie Marketing und Kundenservice zeigen bereits, wie die Produktivität durch die Übertragung sehr ähnlicher Funktionen auf Chatbots erfolgreich gesteigert werden kann [5], [6].
Unternehmen des Gesundheitswesens haben begonnen, dieses Potenzial zu erkennen. Mass General Brigham, ein Anbieter von diagnostischen Gesundheitsprodukten in den USA hat auf generative KI umgestellt, um Patienten mit ähnlichen Profilen zu identifizieren [6]. Diagnostische Informationen, genetische Daten und Krankenakten werden mithilfe von LLMs nach Korrelationen durchsucht ‑ eine Aufgabe, die bisher nur teilautomatisch und viel langsamer erledigt werden konnte. Auch Siemens Healthineers sieht in genAI den nächsten Sprung nach vorn in der Radiologie [7]. Eine interessante Möglichkeit besteht darin, Daten, die zunächst durch LLMs verknüpft und strukturiert werden, zu nutzen, um radiologische Scans zu verbessern und somit bei der Diagnose zu helfen. So könnte beispielsweise ein KI-Agent die optimalen Parameter für eine CT-Untersuchung auf der Grundlage der Krankengeschichte eines Patienten ermitteln und so den Arbeitsaufwand für technische Assistenten verringern.
Medizinerinnen und Mediziner können außerdem auf die automatisierte Erstellung von medizinischen Berichten (einschließlich Arztbriefen, Rezepten für Apotheken, Versicherungen usw.) durch genAI-Apps hoffen, ein Konzept, sogenannte »Arztbriefgeneratoren« bezeichnet wird [8], [4]. Letztlich könnte der gesamte Workflow in medizinischen Standardroutinen von LLM-Unterstützung profitieren (siehe Abbildung 1). Solche Versprechungen haben auch die politische Agenda beeinflusst: Die deutsche Akademie der Wissenschaften und der Beirat des Bundeskanzlers empfehlen, das nationale KI-Ökosystem strategisch zu unterstützen [9], eine Reaktion auf die jüngsten globalen Auswirkungen generativer Modelle.
© Fraunhofer IKS
Abbildung 1: Potenziell können LLMs den gesamten Prozessablauf unterstützen, vom ersten Patientengespräch bis hin zu Behandlungsentscheidungen.
Eine breite Einführung von genAI muss sich jedoch zwei großen Herausforderungen stellen: security und safety. Zu den Sicherheitsfragen im Sinne von security gehören nicht nur Modellmanipulationen oder Infrastrukturangriffe, sondern auch Situationen, in denen sensible medizinische Daten an KI-Dienste außerhalb der etablierten Datensphäre weitergeleitet werden. KI-Cloud-Anbieter begegnen den Datenschutzbedenken, indem sie Unternehmenskonten anbieten, welche die Übereinstimmung mit allgemeinen Datenschutzrichtlinien und ein vollständiges Dateneigentum für die Kunden versprechen (z. B. werden Daten, die als Prompts gesendet werden, nicht zum Training anderer Modelle verwendet) [10]. Kundinnen und Kunden, die nicht vollständig überzeugt sind, können alternativ auf lokale, vor Ort installierte Lösungen mit Open-Source-Modellen [11] zurückgreifen. Diese erfordern zwar im Moment noch erhebliche Rechen- und Speicherressourcen, doch scheint es nur eine Frage der Zeit zu sein, bis das erste wettbewerbsfähige LLM auf einem handelsüblichen mobilen Computer eingesetzt werden kann.
Eine andere Art von Herausforderung ergibt sich im Zusammenhang mit safety. Da LLMs statistische Textgeneratoren sind, kann die Korrektheit der Ausgabe nicht in allen Fällen garantiert werden. Situationen, in denen das Modell plausible, aber falsche Inhalte erzeugt, sind als „Halluzinationen“ oder „Träume“ bekannt. Selbst bei Routineaufgaben wie dem automatischen Ausfüllen eines medizinischen Formulars kann es vorkommen, dass versehentlich eine falsche Information, z. B. eine fiktive Vorerkrankung von Patientinnen und Patienten, generiert wird, was spätere Behandlungsmöglichkeiten gefährden kann. Um solche Szenarien zu vermeiden, ist daher eine der Hauptforschungsfragen im Bereich der generativen KI, wie man LLM-Ergebnisse sicher für praktische Anwendungen machen kann. Hier setzt die Arbeit am Fraunhofer-Institut für Kognitive Systeme IKS an.
Gängige vortrainierte LLMs haben einen eingebauten Filter gegen Hassreden, Rassismus oder gefährliche Anfragen. Diese werden in der Regel nach dem selbstüberwachten Trainingsprozess durch überwachte Feinabstimmung mit spezifischen Beispielen und Reinforcement Learning aus menschlichem Feedback (reinforcement learning from human feedback, RLHF) hinzugefügt. Um anwendungsspezifische Sicherheit (z. B. in Bezug auf eine Reihe von Behandlungsoptionen in der Medizin) einzubeziehen, ist dieser Ansatz ressourcenintensiv und erfordert eine ausreichende Anzahl hochwertiger Datenproben. Stattdessen verfolgt das Fraunhofer IKS einen anderen Ansatz mit sicherheitsbewussten LLM-Agenten [12].
Ein LLM-Agent ist ein Wrapper-Programm mit Zugang zu einem vortrainierten LLM sowie zu anderen Tools und domänenspezifischen Daten. Nach einer benutzerdefinierten Logik kann er diese Ressourcen orchestrieren, um eine Anfrage in mehreren Schritten zu lösen. Beispielsweise kann der Agent nach Erhalt einer Textanfrage zunächst feststellen, ob zusätzliche Informationen erforderlich sind, und diese gegebenenfalls durch Retrieval-Augmented Generation (RAG) aus verfügbaren Dokumenten extrahieren. In einem zweiten Schritt kann der Agent z. B. entscheiden, dass diese Frage durch einfachen Informationsabgleih beantwortet werden sollte, anstatt ein LLM zu verwenden. Andere Teilaufgaben, wie z.B. die Textzusammenfassung, könnten dagegen gut für einen LLM-Aufruf geeignet sein
Das Fraunhofer IKS entwickelt Agenten-Workflows, die unsichere Entscheidungen, die möglicherweise durch einen LLM hervorgerufen werden, entweder verhindern oder entschärfen. Dazu wird der Agent mit maßgeschneiderten Sicherheitskonzepten sowie medizinischen Standards und Richtlinien ausgestattet, so dass eine Anfrage durch den optimalen Einsatz des am besten geeigneten Werkzeugs beantwortet werden kann. Für die nähere Zukunft bleibt eine Überprüfung durch Menschen allem Anschein nach unverzichtbar. Um dies zu erleichtern, müssen die generierten Ergebnisse leicht überprüfbar sein, z. B. durch Auflistung der Textquellen, die für den Entscheidungsweg des Agenten relevant waren.
Werden das notorisch überforderte deutsche Gesundheitssystem sowie seine Patientinnen und Patienten bald von solchen Produktivitätsgewinnen profitieren? Wahrscheinlich müssen sich Unternehmen und Praktiker zunächst durch ein rechtliches Labyrinth kämpfen: Mit dem kürzlich verabschiedeten EU-KI-Gesetz und der europäischen Medizinprodukteverordnung (MDR EU) müssen medizinische KI-Produkte einer strengen Zertifizierung unterzogen werden [13], [14]. Um diesen Prozess zu erleichtern, entwickelt das Fraunhofer IKS Richtlinien und Werkzeuge, die Kunden bei der Einschätzung helfen, welche Risiken mit ihrem Produkt verbunden sind und welche Schritte zur Zertifizierung unternommen werden müssen – und nutzt dabei LLM-gestützte Agenten als Teil seiner Lösung.
[1] Ipsos, “Baustelle Gesundheitssystem: Fachkräftemangel mit Abstand größtes Problem,” 2021, [Online]. Available: https://www.ipsos.com/de-de/ba...
[2] Deutschlandfunk, “Die Überlastung hat System.” [Online]. Available: https://www.deutschlandfunk.de...
[3] McKinsey, “Tackling healthcare’s biggest burdens with generative AI.” [Online]. Available: https://www.mckinsey.com/indus...
[4] D. Antweiler, K. Beckh, N. Chakraborty, S. Giesselbach, K. Klug, and S. Rüping, “Natural Language Processing in der Medizin. Whitepaper,” Fraunhofer IAIS, 2023, doi: 10.24406/publica-1278.
[5] McKinsey & Company, “The economic potential of generative AI,” McKinsey Co. Reports, no. June, pp. 1–65, 2023, [Online]. Available: https://www.mckinsey.de/~/medi... and middle east/deutschland/news/presse/2023/2023-06-14 mgi genai report 23/the-economic-potential-of-generative-ai-the-next-productivity-frontier-vf.pdf
[6] WSJ, “How Did Companies Use Generative AI in 2023? Here’s a Look at Five Early Adopters,” 2023. [Online]. Available: https://www.wsj.com/articles/h...
[7] Elektroniknet.de, “Generative KI ist der nächste große Schritt in der Radiologie.” [Online]. Available: https://www.elektroniknet.de/m...
[8] Aerzteblatt, “KI-betriebener Arztbriefgenerator: In Sekunden zum Entlassbrief,” 2023, [Online]. Available: https://www.aerzteblatt.de/nac...
[9] acatech, “Vom Spitzentalent zum Schlüsselspieler: Strategie für die erfolgreiche Nutzung und Entwicklung generativer KI in Deutschland,” 2024, [Online]. Available: https://www.acatech.de/allgeme...
[10] “Enterprise privacy at OpenAI.” [Online]. Available: https://openai.com/enterprise-...
[11] Meta, “LLama 3.1.” [Online]. Available: https://ai.meta.com/blog/meta-...
[12] F. Geissler, K. Roscher, and M. Trapp, “Concept-Guided LLM Agents for Human-AI Safety Codesign,” Proc. AAAI Symp. Ser., vol. 3, no. 1, pp. 100–104, 2024, doi: 10.1609/aaaiss.v3i1.31188.
[13] L. Heidemann et al., “The European Artificial Intelligence Act: Overview and Recommendations for Compliance,” pp. 1–25, 2024.
[14] A. Zamanian, G. Lancho, and E. Pachl, “KI-Entwicklung - von der Vorschrift zum Computercode,” mt medizintechnik, vol. 2, 2024.
