mediadev library

Sort by:

Direction:

Companion AI: Risiken von sykophantischen und suchtfördernden Designs von KI-Systemen, ihre rechtliche Erfassung und Handlungsempfehlungen
Deep Insights

Ramak Molavi-Vasse’i

Berlin: Zentrum für Digitalrechte und Demokratie (2026), 82 pp.

"Diese Studie untersucht Risiken von KI-Systemen, die im fortlaufenden Dialog mit Nutzern Emotionen erkennen, persönliche Bedürfnisse adressieren und darauf reagieren. Chatbots mit dieser Funktionalität werden als Companion-AI bezeichnet. Sie sind hochgradig personalisiert und treten Nutzern als ... soziales Gegenüber entgegen, das freundschaftliche, romantische oder sexuelle Nähe simuliert. Menschen können zu solchen Systemen eine emotionale Bindung aufbauen. Der Fokus liegt nicht nur auf spezifischen Companion-Anwendungen wie Replika oder Character.AI, sondern auch auf Universalmodellen wie ChatGPT, Claude, Gemini, Grok oder Meta-AI. Diese Systeme werden zunehmend für persönliche, emotionale und beratende Gespräche genutzt. Die Untersuchung kommt zu dem Ergebnis, dass Companion-AI mehrere eng miteinander verbundene Risikodimensionen erzeugt. Psychische und physische Gesundheit: Companion-AI trifft auf eine Gesellschaft, in der Einsamkeit und psychische Belastungen zunehmen, während professionelle Versorgungsangebote knapp sind. Die möglichen Risiken sind klinisch belegt. Die Nutzung kann psychische Belastungen verursachen oder verstärken und in Einzelfällen gravierende Gesundheitsfolgen auslösen. Dokumentiert sind die Verschlimmerung psychotischer Zustände, die Verstärkung depressiver Muster und Angststörungen, suchtartige Bindungen mit Entzugssymptomen sowie die Erosion sozialer Kompetenzen, etwa eine messbar reduzierte Konfliktfähigkeit nach längerer Interaktion mit Companion-AI. Öffentlich bekannt gewordene Vorfälle sind in der Vorfall-Datenbank der Studie dokumentiert. Eingriff in die Privatsphäre: Companion-AI animieren Nutzer kontinuierlich zur Selbstoffenbarung und greifen damit in sensible Gedanken und die intime Gefühlssphäre der Nutzer ein. Zugleich ermöglicht die fortlaufende Interaktion eine zunehmend verdichtete Profilbildung. Entscheidungsautonomie und demokratische Meinungsbildung: Companion-AI können sowohl die Qualität von Informationen als auch die Entscheidungsautonomie der Bürger beeinträchtigen. Die Mechanismen, die Nähe und Vertrauen erzeugen, beeinflussen zugleich die Generierung, Aufnahme und Gewichtung von Informationen. Sykophanz, also die unkritische Bestätigung von Nutzeransichten, beeinträchtigt Genauigkeit und Verlässlichkeit der Antworten messbar. Sprachmodelle werden zunehmend als primäre Quelle der Informationssuche genutzt. Wenn dieselben Systeme Informationen erzeugen, beschaffen und präsentieren, fallen Selektion und Aufbereitung in einer Hand zusammen. Werbe- und interessengeleitete Einflussnahme greift dann nicht mehr nur in einzelne Kaufentscheidungen ein, sondern in die Voraussetzungen öffentlicher Meinungs- und demokratischer Willensbildung." (Executive summary, Seite 5) more

External Link (19)

Google Scholar (12)

WorldCat (16)

AI Companions Reduce Loneliness

Julian De Freitas, Zeliha Oğuz-Uğuralp, Ahmet Kaan Uğuralp, Stefano Puntoni

Journal of Consumer Research, volume 52, issue 6 (2026), pp. 1126–1148

"Chatbots are now able to engage in sophisticated conversations with consumers in the domain of relationships, providing a potential coping solution to widescale societal loneliness. Behavioral research provides little insight into whether these applications (apps) are effective at alleviating lonel ... more

Download (4)

Fake friend: How ChatGPT betrays vulnerable teens by encouraging dangerous behaviour

Center for Countering Digital Hate (2025), 54 pp.

"ChatGPT is easily accessed by children without age restrictions or parental controls: ChatGPT says users must be at least 13 to sign up and have parental consent if aged under 18. However, ChatGPT does not verify users’ ages or record parental consent. ChatGPT generates harmful content within mi ... more

Download (5)

The Influence Evolution: Harnessing AI Innovation While Preserving Human Connection in Social Media

Katja Muñoz, Maria Pericàs Riera

German Council on Foreign Relations (DGAP) (2025), 10 pp.

"Social media stands at a pivotal juncture where technology and humanity converge. From productivity tools to fully autonomous AI agents, we are witnessing a fundamental shift in how content is created, distributed, and consumed. This evolution presents dual futures: one in which AI influencers and ... more

Download (6)

Philosophische Digitalisierungsforschung: Verantwortung, Verständigung, Vernunft, Macht

Rainer Adolphi, Suzana Alpsancar, Susanne Hahn, Matthias Kettner (eds.)

Bielefeld: transcript Verlag (2024), 464 pp.

"Digitalisierung ist nicht nur ein technisches Geschehen, sondern erfasst als machtvoller kultureller Prozess alle Lebensbereiche. Die Einsicht, dass soziotechnische Vorgänge gestaltbar sind, erlaubt eine grundsätzliche Reflexion über die neuen Handlungsmöglichkeiten und Zumutungen sowohl in ind ... more

Google Scholar (115)

WorldCat (128)

Gefühle der Zukunft: Wie wir mit emotionaler KI unser Leben verändern

Eva Weber-Guskar

Bonn: Bundeszentrale für politische Bildung (bpb), Sonderausg. (2024), 271 pp.

"Längst ist Künstliche Intelligenz nicht mehr auf kognitive Zwecke begrenzt: Sie wertet, etwa zur Kriminalitätsprävention oder gezielten Kundenansprache, menschliche Mimik aus und suggeriert in Spielen oder Lernprogrammen Emotionen und Stimmungen. Erscheinen bereits solche auf Empfindungen ziele ... more

External Link (10)

Google Scholar (8)

WorldCat (12)

Minding the Future: Artificial Intelligence, Philosophical Visions and Science Fiction

Barry Dainton, Will Slocombe, Attila Tanyi (eds.)

Cham: Springer (2021), xiv, 287 pp.

"Bringing together literary scholars, computer scientists, ethicists, philosophers of mind, and scholars from affiliated disciplines, this collection of essays offers important and timely insights into the pasts, presents, and, above all, possible futures of Artificial Intelligence. This book covers ... more