Newsletter Anmeldung

Bleiben Sie mit dem Newsletter immer up to date.

Anfrage
arrow-to-top

Künstliche Emotion – Zum ethischen Umgang mit Gefühlen zwischen Mensch und Technik – Teil 1

Emotionale, soziale Technik als Antwort auf den Personalmangel in der Pflege?

Um das Verhältnis zwischen Menschen und ihren technischen Systemen zu verstehen und zu gestalten, wird oftmals eine von zwei analytischen Perspektiven eingenommen. Einmal wird unter funktionalen Aspekten der Blick auf Fragen der Veränderung des menschlichen (und technischen) Möglichkeitsraumes gerichtet. Hierbei zeigt sich, dass Fähigkeiten oder Eigenschaften, die bis dato ausschließlich Menschen zugeschrieben wurden, im Verlauf der Geschichte zunehmend technisch nachgebildet werden konnten. Ermöglichte die Mechanik vorrangig die Nachahmung menschlicher Bewegung, so gestattet die Digitalisierung zunehmend, menschliches Denken zu imitieren und – in der Kombination mit Bewegung – entscheidungsbasierte Handlungen (und nicht nur Aktionen) auszuführen.

In der anderen Perspektive wird sowohl nach dem Interaktionsgeschehen zwischen Mensch und Technik als auch nach dessen Effekten gefragt; hierzu liegt ein breitgefächertes Repertoire an Erklärungsansätzen bereit, das von einer rein instrumentellen Beziehung (unter menschlicher Führung) bis hin zu einer subjektkonstitutiven Rolle der Technik reicht. In diesem Zusammenhang wurde nach der Bedeutung von Emotionen für die Mensch-Maschine-Interaktion (im Folgenden: MMI) gefragt. Sie schien bis dato schnell beantwortbar zu sein, da die Fähigkeit, Emotionen zu erkennen und auszudrücken, als menschliches Spezifikum galt. Menschen lieben und fürchten Technik, sie lassen sich von ihr faszinieren und bestimmen, sie projizieren ihre Hoffnungen und Ängste auf sie, jedoch konnten sie keine emotionale Beziehung zu Technik aufbauen, die von Gegenseitigkeit geprägt war. Die Erfindung des affective computing in den 1990ern verändert scheinbar die Möglichkeitsbedingungen einer emotionalen Beziehung zwischen Mensch und Technik dahingehend, dass die Emotionserkennung und -verarbeitung sowie der emotionale Ausdruck nun auch auf technischer Seite simuliert werden kann. Hierdurch verändert sich scheinbar der Status technischer Systeme, die nun nicht nur mit (bzw. statt) Menschen handeln und denken können, sondern auch mit diesen fühlen können sollen. Fortschritte im Bereich der automatisierten Mustererkennung, die sowohl die bearbeitbare Menge an Daten als auch die Verarbeitungsgeschwindigkeit betreffen, verleihen einer technikbasierten Simulation von Emotionalität eine diskussionswürdige Relevanz, da diese nun potenziell auf jedem Gerät, das über entsprechende Sensoren und ausreichende Rechenleistung verfügt, zum Einsatz kommen könnte. Die emotions- und soziosensitive Technik verlässt die begrenzte Welt der Labore und kann nun, insbesondere auch in verkörperter Form (wie z. B. im Falle entsprechender Roboter) Einzug in alltägliche Lebenswelten halten.

Gerade im Bereich der Pflege ist der Einsatz emotions- und sozialsensitiver Roboter in der wissenschaftlichen Literatur ebenso wie in der medialen Berichterstattung in den letzten Jahren zum prominenten Topos avanciert. Das lässt den Eindruck entstehen, dass es sich um etablierte Systeme handelt, mit deren Hilfe auch solche Aspekte pflegerischen Handelns, die emotionale und soziale Bedürfnisse der Patienten adressieren, unterstützt bzw. substituiert werden könnten. Ein genauerer Blick erweist diese Darstellung eher als hoffnungsgetragene Fiktion denn als praktische Realität. Genutzt werden sozioemotionale Systeme aktuell vor allem im Bereich der Psychotherapie (z. B. in der Therapie von Autismusspektrumsdiagnosen), physisch operierende Roboter dagegen primär in der Industrie und im Dienstleistungssektor. Eine funktionierende Kombination aus physischer und sozioemotionaler Robotik, welche pflegerische Tätigkeiten im umfassenderen Sinne übernehmen könnte, ist derzeit nicht auf dem Markt. Sozioemotionale Systeme befinden sich aktuell weder im Gesundheitswesen noch in anderen gesellschaftlichen Bereichen flächendeckend im Einsatz, da sich emotionale und soziale Prozesse einerseits als sehr komplex, schwer quantifizierbar und standardisierbar erweisen, und andererseits die Technik bei Weitem noch nicht auf dem Stand ist, der hierzu erforderlich wäre. Der Diskurs um emotions- und soziosensitive Roboter in der Pflege kann demnach aktuell eher als Ausdruck des Versuchs interpretiert werden, für technische Mittel die sozialen Probleme zu suchen, statt das Problem des Fachkräftemangels in der Pflege in seiner Breite und Tiefe zu analysieren und nach Lösungen zu suchen. Einen ähnlichen, solutionistischen Ansatz finden wir auch im Diskurs um künstliche Intelligenz. Gleichwohl erweisen sich die Versprechungen ungeachtet ihres Realitätsgehalts als sozial enorm wirkungsvoll; sie korrespondieren mit Erwartungshaltungen, die ihrerseits eine eigene, wirksame Vorstellung von kommender Wirklichkeit schaffen und sich so auf die Entwicklung technischer Systeme auswirken. Obendrein berührt das Thema Emotion existentielle Dimensionen menschlicher Existenz und weckt das allgemeine Interesse ebenso wie das Thema Robotik.

Ethische Perspektiven auf emotions- und soziosensitive Systeme

Vor dem Hintergrund der vorangehenden Thesen ist aus ethischer Perspektive aktuell weniger drängend die Frage zu beantworten, wie die Systeme bzw. deren Einsatz konkret bewertet werden können. Stattdessen fokussiert sich die folgende anthropologische Analyse sowie die ethische Evaluation auf die Frage, welche Rolle dieser KI-gestützten Systemart in den Technikvisionen und -fiktionen zugeschrieben wird und welche normativen Aspekte bei der Entwicklung und dem Einsatz zukünftig beachtet werden sollten. Es erscheint uns notwendig, anthropologische Aspekte zu thematisieren, die im Bereich der ethischen Evaluation technischer Systeme oftmals vernachlässigt werden, obwohl sie die Entwicklung und den Einsatz von technischen Systemen in Medizin und Pflege stark beeinflussen. Gesellschaftlich etablierte Bilder und Modelle von Welt, Mensch oder Technik beeinflussen implizit sowohl den Konstruktionsprozess als auch die Anwendung technischer Systeme, indem sie Orientierung bezüglich der MMI, der Nutzenden, des technischen Systems sowie des Anwendungskontexts bieten. Diese Bilder und Modelle werden selten systematisch expliziert, wodurch die Gefahr „blinder Flecken“ in der Technikentwicklung und -verwendung besteht. Auch wenn Menschen sich nicht vollständig über sich selbst aufklären können, blinde Flecken also bis zu einem gewissen Grad systematisch bedingt sind, bieten anthropologische Reflexionen die Chance, diese impliziten Bilder zugänglich zu machen, kritisch zu reflektieren und produktiv für die Technikgestaltung zu nutzen.

Hierzu schlagen wir ein 5‑dimensionales Analysemodell vor, das als Heuristik dienen soll, um Orientierung in Bezug auf ethische und anthropologische Aspekte emotions- und soziosensitiver Technik zu leisten. Dies wird nachfolgend anhand einer kurzen Darstellung der einzelnen Dimensionen mit Hilfe erkenntnisleitender Fragestellungen eingeführt. Im Anschluss folgen weiterführende Erläuterungen zu den einzelnen Dimensionen.

  1. Emotion/Funktion: Was kann und soll Künstliche Emotion (KE) konkret in Bezug auf emotionale und soziale Aspekte menschlichen Lebens leisten? Woran wird diese Leistungsfähigkeit bzw. der Erfolg der emotionalen und sozialen Interaktion bemessen?
  2. Akteur: Welche Rolle wird dem Menschen in emotionsgebundenen, sozialen Kommunikationskontexten zugeschrieben und warum? Welche Adaptionsleistungen werden implizit erwartet und mit welchen Konsequenzen können diese vollzogen werden?
  3. Aktant (nicht-menschlicher Akteur): Welche Rolle wird den technischen Systemen in diesen Interaktionen zugeschrieben und warum? Sind diese Zuschreibungen an realen technischen Optionen oder an menschlichen Visionen orientiert? Welche Ziele werden menschlicherseits mit diesen Zuschreibungen und den mit ihnen verknüpften Erwartungen verbunden? Was sagen diese Zuschreibungen über die Menschen aus?
  4. Interaktion und Relation: Welche Interaktionen sollen Mensch und Technik vollziehen? Welche Aktionen von menschlicher und technischer Seite werden ermöglicht? Wie wird der menschliche und technische Aktionsraum begrenzt? Wie wird mit Überschreitungen (z. B. aggressivem Verhalten gegenüber dem technischen System) umgegangen? Welche Beziehung soll hierdurch zwischen Menschen und technischen Systemen etabliert werden?
  5. Kontext: In welchen sozialen Kontexten soll welches System eingesetzt werden und warum? Welche Effekte entstehen hierbei?

5‑dimensionale Heuristik

Um das Spektrum der adressierbaren Fragen zu illustrieren, werden nachfolgend einige Reflexionspfade beispielhaft aufgezeigt.

Zu 1. Emotion

Menschliche Emotion

Menschliche Emotionen werden als Ausdruck eines „inneren Vorgangs“ von Lebewesen verstanden, der in Beziehung zu äußeren Impressionen steht – auch wenn innere Zustände nicht unmittelbar bewusst sind. Die Innen-Außen-Differenz ist konstitutiv und gilt für alle Lebewesen, die sie in starker oder schwacher Form erleben. Emotionen stellen einen inneren Vorgang höher organisierter Lebewesen dar, die diese als Evaluations‑, Regulations- und Expressionsmodus nutzen und so die Außenwelt erfassen, beurteilen und beeinflussen. Emotionen ermöglichen eine Bewertung und Beurteilung der Umwelt sowie Orientierung in ihr. Emotionen stellen eine frühe und dauerhafte Form menschlichen Weltbezugs dar, auch wenn spezifische kognitive Fähigkeiten bzw. Rationalität noch nicht bzw. nicht mehr gegeben sind. Folgt man Stegmaiers Argumentation, dann entlasten Emotionen gerade von Rationalität, weil jene diese in bestimmten Situationen still stellen und Selektion ermöglichen, ohne in vielen Reflexionsschleifen immer wieder neu auf Außenbedingungen evaluativ reagieren zu müssen. Emotionen ermöglichen, formen und tragen zwischenmenschliche Beziehungen, sie sind anthropologisch existentiell und sichern das physische und soziale Überleben.

Neben den physiologischen und psychologischen Erklärungsmustern für Emotionen soll aber auch aus einer philosophisch-anthropologischen Perspektive ein Ansatz zur Beschreibung und zum Verständnis von Emotion(en) angeboten werden, der die Analyseperspektive weitet und hilft, diese von Affekten, Gefühlen und Stimmungen zu unterscheiden.

Für einen anthropologischen, leibfundierten Zugang zu den Emotionen können außerdem die Ausführungen des Philosophen Hermann Schmitz wertvolle Hinweise liefern. Schmitz betont, dass aus neo-phänomenologischer Perspektive Gefühle als „räumlich, aber ortlos, ergossene Atmosphären“ zu verstehen sind. Was üblicherweise als rein innerpsychischer Vorgang verstanden wird (Gefühl oder Emotion), der mit einer Außenwelt in einem Reiz-Reaktionsschema verbunden scheint, wird hier transformiert in ein leibliches Befinden in einer Welt, in der Räume (Leib und Atmosphären) aufeinander treffen bzw. sich durchdringen, also Orte in besonderer Weise akzentuieren. Das Glück z. B. lässt einen Menschen sich leicht fühlen, auch wenn die Schwerkraft unvermindert auf ihn einwirkt, wohingegen die Trauer alles schwerer fühlen lässt. Dass ein froh gestimmter Mensch in einer Ansammlung von Trauernden das eigene Gefühl dämpfen und nicht auf diese übertragen wollen wird, hängt mit der Situation und dem Respekt vor der alle überformenden Atmosphäre der Trauer zusammen. Andersherum wird ein frohgemuter Mensch Ermattete eher aufmuntern wollen. Die Beispiele zeigen, dass das Verhältnis von Gefühl(en), Interaktionssituationen und Gefühlsregulation sehr komplex sein kann, und keineswegs mit der Erfassung einer Expression hinreichend Material für eine Interpretation der Situation und eine sozial angemessene Interaktion gegeben ist.

Emotion und Technik

Was und wie wird menschliche Emotion technisch gemessen, wenn Algorithmen Emotionen erfassen und analysieren? Was für ein Emotionsverständnis muss zugrunde gelegt werden, damit technische Systeme Emotionen „erkennen“ können? Aktuell werden fünf Formen der Emotionserkennung in technischen Systemen genutzt:1.) Gesichtsbasierte Emotionserkennung, 2.) Stimmbasierte Emotionserkennung (akustische und prosodische Merkmale des Sprechens), 3.) Sentimentanalyse (Analyse der Bedeutung der Worte), 4.) Biosensoren, 5.) Multimodale Ansätze. Im Bereich sozioemotionaler Systeme kommen aktuell insbesondere Form 1 und 2 zur Anwendung, wobei Form 1 auf der 1978 entwickelten Emotionstheorie der Psychologen Paul Ekman und Wallace Friesen basiert. Sie ist geleitet von der Annahme, dass Emotionen kulturübergreifend in gleicher mimischer Form geäußert werden. Das FACS (Facial Action Coding System) gestattet durch die Analyse von Mikromimik die Identifikation von sieben Basisemotionen (Wut, Freude, Trauer, Ekel, Verachtung, Angst und Überraschung). Die Bedeutung, die dem Modell von Ekman und Friesen im Kontext technischer Emotionserkennung zuerkannt wird, verdankt sich jedoch nicht der Bedeutung der Theorie in der Psychologie, sondern ihrer technischen Umsetzbarkeit. Nicht wissenschaftliche Differenziertheit und Validität, sondern technische Adaptivität sind hier entscheidend. Um menschliche Emotionen technisch erfassen zu können, müssen sie auf beobachtbare, messbare und quantifizierbare Aspekte reduziert werden, weswegen Emotionstheorien, die ausschließlich auf den expressiven Aspekt fokussieren, (erneut) an Relevanz gewinnen, ungeachtet deren Bewertung in der Psychologie. Es wird ein Emotionsmodell implementiert und stabilisiert, das als Funktionsbedingung notwendigerweise relevante Aspekte (wie z. B. das subjektive Erleben, das Interaktionsgeschehen, den Kontext) ausblendet. Wie verhält sich im Modell die Messung zum Gemessenen, und was ist damit emotional verstanden? Wenn technische Systeme nur einen Aspekt menschlicher Emotionen (z. B. den mimischen oder stimmlichen Ausdruck) erfassen können, sind die technischen Leistungen nur von begrenztem Nutzen und können keinesfalls menschlichen Fähigkeiten in der Erkennung gleichgesetzt werden. Aber auch das technische Korrelat zur menschlichen Emotion ist von stark reduzierter Qualität. Das lässt Zweifel aufkommen, ob es unter diesen Umständen grundsätzlich gerechtfertigt ist, auf menschlicher und technischer Seite von Emotion zu sprechen, oder ob, wie im Falle des Terminus „künstliche Intelligenz“, die Zuschreibung menschlicher Fähigkeit an technische Systeme eher irreführend denn erhellend ist. Wenn ein komplexes menschliches Geschehen wie Emotionserkennung, -interpretation und -expression nur um den Preis der Quantifizierung und starken Reduktion technisch zu haben ist, ist es zumindest diskutabel, ob, in welcher Form, für welche Kontexte und welche Zielgruppen diese Art der Technik genutzt werden sollte. Ungeachtet der eingangs bereits zitierten Versprechungen bezüglich der Möglichkeit einer wechselseitigen emotionalen Beziehung zwischen Mensch und Technik, bleibt die grundsätzliche Frage nach dem Nutzen und der ethischen Vertretbarkeit dieser Art von Technik virulent. Dass der Technikkonzern Microsoft die Forschung an KI-gestützter Emotionserkennung sistiert hat, könnte Zweifel an der Umsetzbarkeit der versprochenen Ziele nähren. Zugleich treiben andere Unternehmen das Projekt einer „empathischen Technologie“ voran und weisen auf die mannigfachen Einsatzgebiete hin.

Es wäre ethisch zu diskutieren, welche Folgen die Verbreitung von Emotionen analysierenden und simulierenden MTI in der Gesellschaft hätten. Da die Systeme zumeist adaptiv konstruiert werden und somit emotionale Auseinandersetzungen unwahrscheinlich machen, ist es plausibel anzunehmen, dass zunehmende Interaktionen mit solchen technischen Systemen zu einer Veränderung der (emotionalen) Erwartungshaltung bei Menschen auch im zwischenmenschlichen Bereich beitragen. Menschliche Interaktionen sind kontingent und prinzipiell ergebnisoffen, sie könnten dadurch unattraktiver erscheinen (weil mühevoller, herausfordernder) und zugunsten vermeintlich leichterer Interaktionen mit technischen Systemen reduziert werden. Da jedoch der Umgang mit Widerständen, Grenzen und Frustrationen eine der zentralen Kompetenzen gelingender Lebensführung darstellt, ist zu fragen, ob die Chancen zum Erwerb dieser Kompetenz durch vermehrte Interaktionen mit adaptiven Systemen minimiert werden und welche sozialen und ethischen Konsequenzen daraus resultieren könnten. Das in Zusammenhang mit Assistenzsystemen oder Automobilen plausible Argument der Förderung menschlicher Bequemlichkeit könnte an dieser Stelle nicht nur auf körperliche Betätigung, sondern ebenso auf soziale Auseinandersetzung angewandt werden. Wenn „emotional friktionsfreie“ Interaktionsoptionen geboten werden, ist es plausibel anzunehmen, dass diese aus Bequemlichkeitsgründen bevorzugt genutzt werden. Damit steigt jedoch das Risiko Ambiguitätstoleranz und Konfliktfähigkeit einzubüßen; Kompetenzen, die auch und gerade in demokratischen Gesellschaften dringend von Nöten sind.

Betrachtet man die Emotionalisierung des Menschen durch Technik als weiteren Aspekt, stellt sich hier die Frage nach dem Nutzen. Wenn die Aufgabe der Technikethik darin besteht, nach einem Ausgleich zwischen dem, was machbar ist, und dem, was verantwortbar ist, zu suchen, muss aus ethischer Perspektive die Frage nach der sozialen Funktionalität emotionssensitiver Technik dauerhaft präsent gehalten werden und mit der Frage danach verknüpft werden, ob durch den Einsatz von Technik soziale Probleme gelöst werden sollen (wie z. B. Einsamkeit, Pflegenotstand …), die auf diesem Wege wohl nicht befriedigend zu lösen sind, sondern nur einer scheinbaren Lösung zugeführt werden. Das menschliche Bedürfnis nach emotionaler Bindung und Anerkennung kann nicht von einem technischen System befriedigt werden, sondern lediglich von einem anderen Lebewesen – und auch dort nicht immer. Technische Systeme können u. U. Menschen inspirieren, unterhalten, unterstützen und mit ihnen interagieren, jedoch keine wechselseitigen emotionalen Bindungen eingehen, und sollten deswegen auch nicht in dieser Form präsentiert werden.

Mensch – Technik – Emotion

Vergleicht man Mensch und Technik in Bezug auf die Fähigkeit, Emotionen zu erkennen, zu verarbeiten und zu artikulieren, lassen sich exemplarisch einige Differenzen aufzeigen, die bei der Diskussion über künstliche Emotionen und das emotionale Zusammenspiel zwischen Mensch und Technik zu berücksichtigen sind.

  1. Die Innen-Außen-Differenz ist für Lebewesen konstitutiv und stellt eine Ähnlichkeit, aber zugleich auch eine Differenz zu technischen Systemen dar. Man kann auch diese über ein Innen-Außen deuten, aber das gilt nur für sog. „embodied AI“, verkörperte KI, bei der das Verhältnis von innen und außen jedoch nicht generisch ist, sondern eher eine pragmatische konstruktive Entscheidung: Man verlegt Teile der Rechnereinheit in das Innere des Roboterkörpers, andere verbleiben aus technischen Gründen außerhalb des Körpers. Für dieses Konstrukt gibt es kein Selbstbewusstsein, keine Intentionalität, die emotionalen Ausdruck bräuchte, kein Selbstverhältnis, das sich leiblich auf die eigene Natur bezieht.
  2. Wenn Emotion ein Vorgang ist, der Bewusstsein braucht, dann tut sich hier die nächste Differenz auf. Auch wenn die Debatte um Bewusstsein enorm vielschichtig ist, so gibt es nach wie vor wenig Anlass, technischen Systemen ein solches zuzuschreiben. Auch wenn mittlerweile die Bedeutung des Embodiment für die KI hervorgehoben wird, so ist es doch gerade für Systeme aus KI und Robotik signifikant, dass das robotische System und die KI keine technische Einheit bilden, sondern verkoppelte Module darstellen, die – aus technischen Gründen – an verschiedenen Orten existieren. Ein dem Menschen vergleichbares Sich-selbst-Fühlen oder ein Sich-Befinden ist bei technischen Systemen so nicht möglich. Technisch betrachtet muss das auch nicht sein, aber die vergleichende Übertragung wird damit unzulässig.
  3. Eine weitere wichtige Unterscheidung ist die zwischen eine Emotion haben/verspüren und eine Emotion darstellen/ihr Ausdruck verleihen. Schauspieler*innen können Emotionen darstellen, ohne sie zu haben – darin besteht ihre Kunst. Das Spiel lässt sich hierbei anthropologisch als eine Grunddimension menschlicher Existenz verstehen und ist somit nicht nur professionellen Schauspielern zuzurechnen. Entsprechend kann eine KI vielleicht Emotionen „lesen“, also von bestimmten Markern auf diese oder jene (Basis‑)Emotion schließen. Bei den „Leseergebnissen“ wäre aber zu unterscheiden zwischen Emotionen, die „nur dargestellt“ werden und solchen, die tatsächlich gespürt und geäußert werden. Fairerweise wird man konzedieren müssen, dass Menschen das auch nicht immer treffsicher gelingt. Hierauf basiert aber zum Wesentlichen gelingende Kommunikation. Eine gelingende emotionale Interaktion zwischen Mensch und Maschine würde also voraussetzen, die verschiedenen Register von Emotionen in Spiel und Ernst zu unterscheiden und damit entsprechend umzugehen. Auf Seiten des technischen Systems ist eine solche Differenz und ein selbstreflexiver Umgang mit ihr (derzeit) nicht zu erwarten. Das wirft die grundsätzliche Frage auf, zu welchen Zwecken Menschen technische Systeme mit Emotionsdarstellung ausstatten wollen und was eine Koppelung von „echten“ Emotionen mit „simulierten“ Emotionen bringen soll.

Zu 2. Akteur

Damit technische Systeme auf emotionaler Ebene mit Menschen interagieren können, benötigen sie ein internes Emotionsmodell, das diese erkennt und spezifischen emotionalen Zuständen auf menschlicher Seite adäquate Reaktionen auf technischer Seite zuordnet. Hierfür müssen Normen und Grenzwerte festgelegt werden, mit denen man Unterscheidungen treffen kann zwischen verschiedenen Emotionen und Entscheidungen bezüglich geeigneter Reaktionen. Akzeptiert man den konstitutiven Reduktionismus bezüglich der Emotionserkennung und sieht diese als technisch möglich an, konfrontiert die Frage nach der angemessenen technischen Reaktion Entwickler (und Nutzer) mit ethisch relevanten Fragen der Normierung von Emotionen. Welche Form der Reaktion auf Wut, Trauer, Freude oder Angst ist angemessen und warum? Wer kann und sollte festlegen, welche Reaktionen angemessen sind? Kann dies von einem Entwicklerteam geleistet werden, das sich notgedrungen an Modellen von Nutzertypen und somit an reduktionistischen Abstraktionen orientieren muss? Kann und sollte das System bei jedem Nutzer gleich reagieren, oder ist eine genaue Kenntnis des jeweiligen Nutzers (Personalisierung), seiner emotionalen Stärken und Schwächen sowie für ihn akzeptabler Reaktionsformen vonnöten – und welche Implikationen hat das für die Privatsphäre des Nutzers, aber auch für soziale Umfangsformen wie Respekt, Takt, Dezenz? Welche Emotionen des Nutzers werden als legitim bzw. gut erachtet und wie kann und sollte das System z. B. auf wiederholte Aggression reagieren? Daran schließt sich die grundsätzliche Frage an, ob und welche Form der emotionalen Beeinflussung durch ein technisches System als wünschenswert für Individuen und Gesellschaften erachtet wird. Soll das System jede menschliche Emotion validieren, d. h. wertschätzend anerkennen, und somit dem Nutzer den Eindruck vermitteln, dass jede Emotionsäußerung legitim ist? Welches Bild vom Menschen wird den Systemen einprogrammiert? Wie wird das Verhältnis zwischen Emotionalität und Rationalität konkret konzipiert, und wird hierbei der Einfluss von Emotionen auf vorgeblich ausschließlich rationale Entscheidungsfindungsprozesse mitreflektiert? Wie wird der Zusammenhang zwischen Emotion, Rationalität und Handlung konzipiert und wird dieser überhaupt mitreflektiert? Wie sowohl die psychologische Forschung als auch die philosophische Theorie betonen, lassen sich Emotionen analytisch zwar isoliert betrachten, existieren jedoch realiter ausschließlich in Verbindung mit Rationalität und Moralität und müssen deswegen auch in diesem weiten Kontext reflektiert werden. Wenn demnach Systeme konstruiert und implementiert werden sollen, die dezidiert die Modulation menschlicher Emotion adressieren, muss zugleich auch die Frage nach den Folgen für menschliche Entscheidungsfindung – und letztlich für das menschliche Selbstverständnis – thematisiert werden.

Der Versuch, menschliche Fähigkeiten technisch nachzubilden, offenbart die oft implizite Komplexität des Sozialen (menschliches Zusammenleben) sowie die Komplexität menschlicher Individualität. Formen der emotionsbasierten MMI können demnach keinesfalls als Äquivalent zu zwischenmenschlichen Beziehungen bewertet, sondern müssen als eigene, neuartige Interaktionsform in den Blick genommen werden. Würde mit emotionsbasierter MMI ein neues und eigenes Register von Interaktionsformen etabliert, das durchaus verwirrende Ähnlichkeiten zu menschlichen Interaktionsformen aufweist, so wäre seine Anwendung unseres Erachtens nur dann ethisch vertretbar, wenn seine kategoriale Differenz individuell wie gesellschaftlich verstanden und jeweils aktualisiert wird. Es ginge also nicht darum, zwischenmenschliche Interaktion durch MMI zu ersetzen, sondern durch technische Systeme dazu beizutragen, zwischenmenschliche Interaktionen im Kontrast hierzu besser zu verstehen und zu befördern.

Eine zweite mögliche Argumentationslinie legt dar, dass Menschen mit Sozialphobien o. ä. gerade durch technische Systeme geholfen werden könnte, in eine zwischenmenschliche Interaktion zurückzufinden. In einer lernförderlichen Umgebung unterstützt eine Trainingssoftware hierbei beim Kompetenzaufbau, indem die Identifikation von Emotionen ebenso wie sozial kompatible Wege des Umgangs mit Emotionen eingeübt werden. Da in diesem Anwendungsfall die technischen Systeme zum Aufbau (nicht vorhandener bzw. schwach ausgebildeter) Kompetenzen, einer Steigerung sozialer Teilhabemöglichkeiten und somit zur Minderung von Leid beitragen, könnte ihre spezifisch definierte Entwicklung an dieser Stelle ethisch geboten sein, insbesondere wenn der aktuelle und zu erwartende Mangel im Bereich der therapeutischen Angebote mitreflektiert wird.

Ganz grundsätzlich ist darüber nachzudenken, mit welchen Konsequenzen die Quantifizierung eines qualitativen, kontextgebundenen Phänomens wie Emotion verbunden ist, und inwiefern eine Ausbreitung dieser Systeme Rückwirkungen auf das Selbstverständnis der sie nutzenden Menschen hat. Wenn man bedenkt, dass Menschen dazu neigen, technischen Systemen Objektivität, also deren Messergebnissen mehr Wahrheitsgehalt als ihren eigenen Empfindungen zuzusprechen, ist es plausibel anzunehmen, dass eine häufige Nutzung und Verbreitung der Systeme zu Deprofessionalisierung und allgemeiner zu Dekompetenzierung beitragen könnte. In professionellen Kontexten (z. B. Pflege) ist es nicht unplausibel, dass der Einsatz eines sozioemotionalen technischen Systems den individuellen Zweifel an den professionellen Fähigkeiten (hier die Einschätzung der emotionalen Lage des Klienten) nähren und zugleich ihre Auslagerung ans System befördern wird (vgl. Navigationsgeräte). Der Einsatz eines als objektiv verstandenen Systems kann dazu beitragen, dass der Mensch glaubt, sich nicht auf seine emotionale Intelligenz und somit auf sein eigenes Vermögen verlassen zu können, sondern nicht mehr zu wissen glaubt, was eine Emotion ist, ohne dass ihm seine Einschätzung von einem technischen System bestätigt wird, verbunden mit der Mitteilung, was daraufhin zu tun ist. Welchen Nutzen bringt der Einsatz dieser Systeme? Welches Defizit soll mit dem Einsatz adressiert werden, und besteht dieses in der Praxis wirklich? Entstehen nicht ungewollt Deprofessionalisierungseffekte, indem der Eindruck erzeugt wird, dass Pflege bei der Erkennung von Emotionen bzw. der Aufrechterhaltung emotionaler Beziehungen Unterstützung benötigt? Wenn Systeme dieser Art als Assistenzsysteme zum Einsatz kommen sollen, muss aus ethischer Perspektive die Frage gestellt werden, welche Form der Assistenz für professionelle Pflegefachkräfte als gewinnbringend und entlastend erlebt wird. Betrachtet man Studien, die sich der Untersuchung der Gründe für den Personalmangel im Bereich der Pflege widmen, wie bspw. das Pflegethermometer, zeigt sich, dass gerade die interaktiven, kommunikativen und emotionalen Aspekte des Berufes als Bereicherung und nicht als Belastung erlebt werden. Hierdurch wird die Frage aufgeworfen, ob emotionssensitive Systeme im Bereich der Pflege wirklich als unterstützend wahrgenommen werden oder ob durch deren Einsatz (die technische Funktionalität vorausgesetzt) nicht eher ein Beitrag zur Stabilisierung eines als defizitär erlebten Systems geleistet wird. Das aber wäre eine Form von Solutionismus, der nicht das tatsächliche Problem adressiert, sondern eine technische Lösung für einen spezifisch darauf zugeschnittenen Problemausschnitt präsentiert. Auch vor diesem Hintergrund stellt sich die Frage nach geeigneten und vertretbaren Einsatzgebieten dieser Technik in der Pflege, die – unter Anerkennung des reduzierten Funktionsspektrums der Technik – deren Potenzial nutzt, um Professionelle und Patienten zu entlasten bzw. ihren Möglichkeitsraum zu erweitern und nicht zu reduzieren.

Zu 3. Aktant

Wenn die Funktionalität des Systems die Identifikation von Emotionen und deren Bereitstellung im Zuge professioneller Kontexte (Pflege, Psychologie, Therapie …) übersteigt, und das System als Aktant in die Interaktion eintreten soll, stellt sich die Frage nach der Art von Beziehung, die zwischen menschlichem Akteur und technischem Aktant ermöglicht werden soll, und ob an dieser Stelle menschliche Rollen als Konstruktionsvorbilder für die Aktanten genutzt werden sollten. Momentan scheint von dem Erfolg, kurze Sequenzen (Episoden) bestimmter emotionaler Äußerungen beim Menschen relativ gut detektieren zu können, auf eine umfangreichere emotionale Interaktion geschlossen zu werden – was wohl ein Kurzschluss ist. Wenn Emotionen mehr sind als Episoden, dann ist es mit einer einzelnen Emotionsexpression nicht getan. So stellt sich die Frage, wieviel emotionalen Gehalt über eine gewisse Interaktionszeitspanne ein System erkennen und verstehen muss, um in eine emotionale Interaktion treten zu können. Bedenkt man zusätzlich den häufigen Wechsel emotionaler Ausdrücke bei Menschen, wird zusätzlich die Frage aufgeworfen, welche der artikulierten und vom System identifizierten Emotionen technisch beantwortet werden sollen. Hierbei bietet sich einerseits ein quantifizierender Zugang an, der die Emotion technisch beantwortet, die am häufigsten innerhalb eines gegebenen Zeitraums artikuliert wird. Anderseits wäre auch an eine programmierte Hierarchie von Emotionen zu denken, die bestimmte Emotionen als relevanter als andere klassifiziert und deswegen eine zeitnahe Reaktion von Seiten des Aktanten auslöst. Wären technische Systeme dann „kompetenter“ als Menschen, wenn sie sich nicht wiederholt in bestimmten emotionalen Beziehungsmustern „verhaken“ würden?

Das klingt vorteilhaft, könnte zugleich aber auch ein Nachteil sein, weil der „emotionale Zustand“ im technischen System immer neu generiert würde, ohne ein „emotionales Gedächtnis“ für den menschlichen Interaktionspartner berücksichtigen zu können/müssen. Andersherum würde ein untrügliches emotionales Gedächtnis auf technischer Seite – was wohl ein Oxymoron in rhetorischem wie wortwörtlichem Sinne wäre – die emotionale Interaktion asymmetrisch in Richtung der Objektivität von Erinnerung verschieben und so emotionale Gehalte auf Seiten des Menschen einer technischen, nicht-emotionalen Bewertung unterziehen. Bei der Konstruktion von Interaktionsverhältnissen zwischen Mensch und emotionssensitiver Technik muss neben der Adressierung der skizzierten Aspekte auch geklärt werden, welche Rollen Mensch und technisches System einnehmen und wie sie konkret ausgestaltet werden. Hierbei kann nicht ungeprüft vorausgesetzt werden, dass technische Systeme über die Voraussetzungen verfügen, Rollen in der Form wahrzunehmen, wie sie in menschlichen Interaktionen realisiert werden. Deswegen müssen bei jedem zu entwickelnden System und somit jeder zu konstruierenden Relation zwischen Akteur und Aktant sowohl die Möglichkeitsbedingungen, als auch die zu erwartenden Effekte analysiert werden, um ein differenziertes Bild der Interaktion zu erhalten, das als Basis der ethischen Evaluation dient. Hierdurch erweitert sich der Fragenradius, der neben den nach Funktionserfordernissen und gelingender Interaktion ebenso die Vermeidung potenzieller Risiken enthält. Diese könnten bei Personengruppen mit eingeschränkten kognitiven Kapazitäten erhöht sein, so dass der Einsatz sozioemotionaler Systeme bei dieser Gruppe nur mit besonderer Sorgfalt (und möglicherweise nur unter menschlicher Aufsicht) erfolgen sollte. Konkret ließe sich an Systeme denken, die wiederholt auf ihren Status als technisches System hinweisen und ggf. menschliche Unterstützung anbieten bzw. selbst per Benachrichtigung organisieren. Die Reflexion auf die konkrete Ausgestaltung eines technischen Aktanten konfrontiert uns mit den Bildern, die wir uns explizit oder implizit von technischen Systemen, deren Funktionsspektrum, aber auch deren Grenzen machen. Diese Bilder fungieren als Orientierungspunkte und ermöglichen die Interpretation und Evaluation technischer Aktionen. Je expliziter diese Bilder bereits im Konstruktionsprozess werden, desto bewusster und reflektierter kann deren Gestaltung vollzogen werden, wodurch das Risiko nicht intendierter Folgen minimiert werden kann. Erkenntnisleitend könnten hierbei z. B. folgende Fragestellungen sein: Wie verschiebt sich durch den Einsatz emotionssensitiver Systeme die Erwartung an technische Systeme, und inwiefern müsste die Vorstellung von Technik als Instrument der menschlichen Weltbeherrschung revidiert werden? Wie kann diese Technik so konzipiert und vor allem expliziert werden, dass den Nutzenden deren Funktionen und mögliche Effekte deutlich werden? Wie kann und sollte das System über sich selbst aufklären? Oder sollten diese Systeme nur unter menschlicher Begleitung zum Einsatz kommen, wie es aktuell bei der Roboterrobbe Paro der Fall ist – die allerdings nur auf einer sehr rudimentären Ebene emotionale Signale aussendet und selbst keine „erkennen“ kann?

Zu 4. Interaktion

Um eine ethische Evaluation des Einsatzes sozioemotionaler Systeme zu vollziehen, ist es zentral, die geplanten Interaktionsformen in konkreten Kontexten zu untersuchen. Hierbei gilt es, die Reflexions- und Evaluationsperspektive dahingehend zu weiten, dass nicht nur einzelne Interaktionen in den Blick genommen werden, sondern die durch wiederholte Interaktionen gestifteten Beziehungen zwischen Mensch und Technik. Ethisch gefragt: Welche Form der Beziehung zwischen Mensch und Technik soll ermöglicht werden? Offensichtlich geht es um eine Beziehung, die über eine instrumentelle, zweckrationale hinausgeht und auf Seiten des Menschen eine soziale, emotionale Bindung evozieren soll. Ein funktionales Verständnis dieser Technik, wie es z. B. im Werkzeuggebrauch zutage tritt, ist technikphilosophisch nicht auf der Höhe der Zeit und lässt sich nicht auf Mensch-Roboter-Interaktionen allgemein und sozioemotionale Interaktion im Besonderen übertragen.

Um eine Analyse der Beziehungen zwischen Menschen und diesen Systemen zu ermöglichen, erweist sich ein Rückgriff auf die soziologische Rollentheorie als fruchtbar. Rollen werden hierbei als stabile Verhaltensmuster verstanden, die tragfähige Erwartungen bezüglich des Verhaltens der Interaktionspartner ermöglichen, wodurch Verhalten wechselseitig abgestimmt werden kann und soziale Ordnung stabilisiert wird. Vor diesem Hintergrund gilt es zu fragen, welche der etablierten menschlichen Rollenkonstellationen und Beziehungsformen (Lehrer – Schüler, Arzt – Patient, Freundschaft, Liebe etc.) in welchen Kontexten auf die MMI übertragen werden sollen.

Analysiert man die MMI aus der Perspektive der Rollentheorie, lassen sich Erwartungshaltungen rekonstruieren, die unter einem rein funktionalen Gesichtspunkt oft nicht reflektiert werden. Relevant sind hierbei sowohl die Erwartungshaltungen an ein bestimmtes System als auch mögliche Veränderungen der Erwartungshaltungen an menschliche Interaktionen, die durch wiederholte Interaktionen mit technischen Systemen auftreten können. Agiert ein pflegebedürftiger Mensch z. B. wiederholt mit einem adaptiven Roboter, der auf Konfliktvermeidung und Bestätigung menschlicher Emotionen programmiert ist, könnte dies zu einer Erwartungshaltung an Interaktionen führen, die in zwischenmenschlichen Interaktionen mit all ihren potenziellen Reibungspunkten (teils) frustriert wird. Diese Frustration könnte in dreifacher Hinsicht beantwortet werden. 1. Der Akteur akzeptiert den Unterschied zwischen zwischenmenschlichen Interaktionen und MMI und erlebt die Vielfalt an ihm möglichen Interaktionsverhältnissen als Bereicherung. 2. Die empfundene Frustration führt zu einer Vermeidung zwischenmenschlicher Interaktion und einer verstärkten Hinwendung zu technischen Systemen. 3. Die Enttäuschung der Erwartungen resultiert in einer Veränderung der Erwartungshaltung an zwischenmenschliche Interaktionen und somit zu einer Veränderung des Rollenverständnisses. Von der Pflegekraft würde dann ebenso viel Geduld, Zeit und Wertschätzung erwartet wie von Seiten des Aktanten, was zu einer Zunahme von Konflikten zwischen Gepflegten und Pflegenden führen kann. Insbesondere vor dem Hintergrund des Pflegenotstandes und den ihn kennzeichnenden Zeit- und Ressourcenmangel auf Seiten des Pflegepersonals (zu dessen Behebung bzw. Minderung die Systeme eingeführt werden sollen), könnten durch die Einführung technischer Systeme somit eher zusätzliche Reibungspunkte geschaffen werden und Konflikte entstehen, was zu einer (weiteren) Verschlechterung der Situation führen könnte und deswegen abzulehnen wäre.

Aufgrund dieser möglichen Effekte vermehrter MMI ist es aus ethischer Perspektive geboten, nach einer begründeten Begrenzung des Möglichkeitsraumes der Konstrukteure und Nutzenden zu fragen. Dies fordert uns zur Entwicklung einer fundierten Haltung heraus, die es ermöglicht, nicht nur reaktiv-evaluativ auf technische Entwicklungen zu antworten, sondern prospektiv (und unter der Berücksichtigung der skizzierten Risiken) sozial und ethisch vertretbare Beziehungen zwischen Mensch und Technik zu gestalten. Hierbei wäre zu diskutieren, ob und wenn ja wie, sich hierbei prinzipielle Grenzen festlegen lassen, wie sie z. B. in Hinblick auf den Einsatz von Sexrobotik diskutiert werden.

Zu 5. Kontext

Emotionen stehen aus phänomenologischer, aber auch psychologischer Perspektive immer in einem Kontext und lassen sich nicht dekontextualisiert verstehen. Die Trennung zwischen Emotion und Atmosphäre bzw. Kontext erweist sich somit zwar als analytisch fruchtbar, darf jedoch über die Grenzen der Analyse hinaus nicht als vollständiges Abbild realer Verhältnisse verstanden werden. Versteht man Emotionen nicht in reduktionistischer Manier als ausschließlich subjektives, individualisiertes Geschehen, sondern als kontextgebundenes Beziehungsphänomen (wobei jegliche Beziehung zur Mit- und Umwelt gemeint ist), muss man auch den Einsatzkontexten sowie deren Spezifika vermehrt Aufmerksamkeit schenken. Reflexionsleitend könnten hierbei folgende Fragestellungen sein: In welchen Kontexten können unter welchen Umständen welche Effekte (auf emotionaler Ebene) erwartet werden? Und in welchen Kontexten erweitert der Einsatz emotionssensitiver Technik den menschlichen Möglichkeitsraum? Wo limitiert er ihn oder verändert ihn in einer ungewollten oder auch unzuträglichen Form? Können Ergebnisse innerhalb eines spezifischen Kontextes (z. B. Pflege) unhinterfragt übertragen werden oder muss das Spektrum der technischen Funktionsbedingungen um Kontextvariablen erweitert werden? Wenn ja, wie können diese bestimmt werden? Es kann hier nur angedeutet werden, dass der Einbezug des sozialen Kontextes auch die Lebensformen betrifft, die von Menschen gewählt und durch sozioemotionale Systeme modifiziert werden. Eine ethische Analyse des Kontextes impliziert dann auch eine „Kritik von Lebensformen“, wie sie von Jaeggi vorgetragen worden ist.

Ausblick

Was kann und soll mit der Etablierung von emotionssensitiven technischen Systemen erreicht werden? Jenseits eines „proof of concept“ wird einmal auf individuelle Verbesserungen abgestellt, die sich als gesundheitswahrende oder -stärkende Interventionen begreifen lassen. Diese werden dann auf die gesellschaftliche Ebene skaliert: geringere Arbeitsausfälle, geringere Krankheitskosten, größeres Wohlbefinden. Zweitens sollen solche Systeme der Optimierung in personenbezogenen Interaktionen wie Bewerbungsgesprächen, Lernprozessen, Marktforschung oder Gaming dienen. Optimierung heißt in diesem Fall: Es wird angenommen, dass die korrekte Emotionserfassung auf Seiten des Menschen zu einer präziseren, schnelleren oder auch effektiveren Interaktion zwischen Mensch und Mensch bei dazwischen geschaltetem System oder einer effektiveren Interaktion zwischen Mensch und technischem System beitragen wird. Hierbei handelt es sich zunächst um Hypothesen, deren Verifizierung noch aussteht.

Aus philosophischer Perspektive begegnen wir dieser Hypothese mit einigen Argumenten, die nicht auf prinzipielle Falsifizierung zielen, sondern auf eine notwendig zu erweiternde Perspektive auf das Phänomen Emotion, um die Gestaltung von Technik zum Nutzen der Menschen an eben diesen Menschen stärker zu orientieren. Das Problem einer technisch adaptierten Emotionsforschung und Gestaltung emotionssensitiver technischer Systeme stellt sich aus unserer Perspektive wie folgt dar: 1. Eine Emotion ist prinzipiell nur in der 1.-Person-Perspektive zugänglich; aus 3.-Person-Perspektive ist der Ausdruck einer Emotion zugänglich. 2. Dieser Ausdruck einer Emotion ist kein Gegenstand, der rein empirisch zugänglich ist, vielmehr bedarf es auch hier vor-empirischer Begriffe und Konzepte, um so etwas wie „Basisemotion“, „Regelhaftigkeit“ oder „Ähnlichkeit“ überhaupt feststellen zu können. 3. Um zu so einer Klassifikation zu kommen, bedarf es notwendigerweise der Abstraktion von konkreten individuellen Ausdrücken von Emotion. 4. Im Rahmen einer technisch identifizierten Emotion tritt zu dieser epistemologisch notwendigen Abstraktion noch die technisch und psychologisch-konzeptionell bedingte Reduktion hinzu. Das hergestellte Artefakt ist kategorial etwas anderes als die erfahrene Emotion und darf nicht mit ihr verwechselt werden. 5. Es besteht jedoch aktuell der Ansatz, aus diesem technischen Artefakt – abstrahiert und reduziert – auf die emotionale Verfassung eines Menschen zu schließen, was genau genommen ein abduktiver Schluss ist, also die unsicherste aller logischen Schlussformen: Von der allgemeinen Regel (z. B. Taxonomie der Basisemotionen nach Ekman/Friesen) und dem empirischen Befund (dieser Ausdruck bei P entspricht der Emotion E) wird auf eine erklärende Hypothese (Person P hat die Emotion E) geschlossen. 6. Die solchermaßen technisch identifizierte Emotion eines Menschen soll dann unter Umständen mit einer technisch simulierten Emotion beantwortet werden. Die Gründe hierfür können vielfältig sein. Wir konzentrierten uns hier auf das Register sozio-emotionaler Interaktion zwischen Menschen und technischem System, bei dem die Gesundheit bzw. das Wohlbefinden durch die Interaktion befördert werden soll. Dabei wird 7. mit einer abstrahierten, reduzierten und technisch simulierten Emotion „geantwortet“. Was als eine angemessene Antwort verstanden werden soll, ist von sehr vielen verschiedenen Faktoren abhängig. Zu ihrer systematischeren Erfassung und Bearbeitung schlagen wir ein fünf-dimensionales Schema vor, das mit den zugehörigen Orientierungsfragen versehen wurde und die Emotionsdimension explizit adressiert.

Dieses unterscheidet die Heuristik von bereits etablierten Modellen zum Verständnis von Mensch-Technik-Interaktionen wie z. B. das PACT Framework oder die Taxonomie von Mensch-Roboter-Interaktionen von Onnasch und Roesler. Das PACT Framework benennt Menschen, Kontext, Technologie und Aktivitäten als zentrale Analysekategorien von Mensch-Technik-Interaktionen und fragt u. a. nach den Motiven von Aktivitäten (insbesondere von menschlichen Aktivitäten). Dies lässt jedoch nur indirekt Rückschlüsse auf Emotionen zu und auch nur dann, wenn diese in Verbindung mit Motiven gedacht werden, wozu innerhalb des Frameworks jedoch kein systematisches Vorgehen vorgeschlagen wird. Die Taxonomie von Onnasch und Roesler wurde speziell für die Analyse von Mensch-Roboter-Interaktionen entwickelt. Deren Besonderheiten können differenziert analysiert werden, indem u. a. die menschlichen und technischen Rollen, die menschlichen und technischen Aktionen, die Anwendungsfelder sowie die Morphologie des Roboters beleuchtet werden, jedoch erlaubt auch dieses Modell keine direkte Analyse dessen, was auf menschlicher und technischer Seite unter Emotion verstanden wird, da es sich ebenso wie das PACT-Modell auf Aktivitäten von menschlicher und technischer Seite fokussiert. Unserer Auffassung nach sollte in Entwicklungs- und Anwendungszusammenhängen die Differenz zwischen menschlichen Emotionen und technischen Simulationen von Emotionen konsequent berücksichtig und die Zielfrage (cui bono?) sehr viel stärker in den Vordergrund gestellt und von solutionistischen Ansätzen kritisch abgesetzt werden. So könnten sozioemotionale technische Systeme in klar definierten Bereichen einen Beitrag zu Heilung, Therapie oder Steigerung der Lebensqualität leisten.

Zur einfacheren Lesbarkeit wurden die Quell- und Literaturverweise entfernt.

Manzeschke, A., Assadi, G. Künstliche Emotion – Zum ethischen Umgang mit Gefühlen zwischen Mensch und Technik. Ethik Med 35, 201–219 (2023)

https://doi.org/10.1007/s00481-023-00766-6

http://creativecommons.org/licenses/by/4.0/deed.de


© Swiss Infosec AG 2024