Von Daten-Staubsaugern zu Verwirr-Algorithmen

Wenn „smarte“ Geräte und Systeme Menschen manipulieren und die Sicherheit gefährden

Video: YouTube

Ein Staubsauger-Roboter, der still und leise die Wohnungen von fast 7.000 fremden Haushalten überwacht – klingt nach Science-Fiction, ist aber beunruhigende Realität in einem Zeitalter vernetzter Geräte.

Doch der Beitrag des Tech-Journalisten Reto Vogt vom Schweizer Online-Magazin dnip /1/ beleuchtet auch, wie Social-Media-Algorithmen politische Haltungen messbar verschieben, warum KI-gesteuerte Autos durch manipulierte Straßenschilder in die Irre geführt werden können – und was ein dubioses Web-Archiv mit einer illegalen DDoS-Attacke zu tun hat.

Wer nun glaubt, das seien voneinander unabhängige Randphänomene der Digitalisierung, dürfte nach der Lektüre seine Meinung überdenken.

Ein Aufruf zur Wachsamkeit, nicht zur Panik – denn es gibt Abhilfe. Diese ist einfacher, als mancher denken mag. Hilfreiche Tipps am Schluss des Beitrags.

Und sie bewegen doch

Feed-Algorithmen von Social-Media-Plattformen stehen schon länger unter dem Verdacht, die (politische) Einstellung der Benutzer zu beeinflussen. Ein Experiment, welches von europäischen ForscherInnen 2023 auf X/Twitter durchgeführt wurde, zeigt diesen Einfluss nun erstmals auf. Im Rahmen des Experiments wurde Benutzern in den USA zufallsgesteuert entweder der chronologische oder der algorithmische Feed zugewiesen. Nach sieben Wochen war bei den Nutzern des algorithmischen Feeds eine Verschiebung der politischen Haltung in Richtung konservativerer Positionen feststellbar. Geäußert hat sich das zum Beispiel in deren Wahrnehmung der strafrechtlichen Ermittlungen gegen Donald Trump und den Ansichten zum Krieg in der Ukraine.

Keinen messbaren Effekt hatte (zumindest innerhalb der Untersuchungsspanne) ein anschließender Wechsel vom algorithmischen zurück zum chronologischen Feed. Das lässt sich zumindest teilweise damit erklären, dass Nutzer während der algorithmischen „Phase“ konservativen Accounts folgten und deren Botschaften auch später vermehrt im Feed zu sehen waren. Die Forschenden sehen darin auch eine Erklärung dafür, dass frühere Studien (beispielsweise zu Meta/Facebook) keine Beeinflussung feststellen konnten: Sofern das Experiment erst mit dem Abschalten des algorithmischen Feeds beginnt, hat die Beeinflussung bereits stattgefunden und wird sich nicht messbar ändern.

Auch wenn es die Forschenden nicht explizit schreiben: Der Umstand, dass der X-Algorithmus Benutzer-Positionen im politischen Spektrum nach rechts verschob, ist der Plattform an sich geschuldet. Ein entsprechend anders ausgelegter Algorithmus könnte auf ähnliche Weise Positionen politisch nach links verschieben oder anderweitig Einfluss nehmen. Wenn man einen Schritt weitergeht, kommt man schnell zum Schluss, dass schlussendlich jegliche Art von inhaltlichem Algorithmus das Risiko einer Beeinflussung beinhaltet. Wer den Effekt minimieren möchte, ist daher gut beraten, Plattformen ohne inhaltliche Algorithmen zu verwenden (oder diese auszuschalten).

Der Staubsauger als Spion

Smarte Staubsauger stellen (wie andere IoT-Geräte auch) ein latentes Sicherheitsrisiko dar. Im Gegensatz zu Zahnbürsten bieten Staubsauger-Roboter interessierten Angreifern deutlich mehr Möglichkeiten: So ist die Rechenleistung eines solchen Roboters typischerweise hoch genug, um zumindest für DDoS-Attacken (Distributed-Denial-of-Service-Attacken, bei denen ein Rechner im Internet durch Millionen von gleichzeitigen Zugriffen blockiert wird) nutzbar zu sein. Auch verfügen smarte Staubsauger über Kameras, Mikrophone und weitere Sensoren, um sich ein Bild ihrer Umgebung zu machen. Da diese Sensoren durchaus auch vertrauliche oder intime Informationen preisgeben können, müssen die Staubsauger entsprechend gut gegen fremde Zugriffe geschützt sein.

Könnte man zumindest meinen. Dass dem nicht immer so ist, hat ein Software-Ingenieur vor ein paar Wochen anhand seines DJI Romo-Staubsaugers herausgefunden. Er wollte mithilfe eines KI-Assistenten die Kommunikation zwischen dem Staubsauger und dem DJI-Cloud-Server analysieren, um eine eigene Steuerung zu entwickeln. So nebenbei fand er dabei auch heraus, dass dieselben Anmeldeinformationen, die ihm den Zugriff und die Kontrolle über sein eigenes Gerät ermöglichten, auch Zugang zu Live-Kamerafeeds, Mikrofon-Audio, Karten und Statusdaten von fast 7000 anderen Staubsaugern in 24 Ländern boten. Der eigentliche Fehler lag dabei in den Server-Systemen von DJI. Er erlaubte ihm de facto Zugriff auf eine kleine Armee von internetverbundenen Robotern. Auf diese Weise hätte er die Umgebung von 7000 anderen Staubsaugern überwachen können, ohne dass deren Besitzer je davon erfahren hätten.

Im konkreten Fall hat DJI schnell reagiert und konnte das Problem mit zwei automatisch eingespielten Updates beheben. Nichtsdestotrotz ist der Fall geradezu typisch für das steigende Risiko durch internetfähige Haushaltsgeräte, welche oft schnell und ohne Fokus auf Sicherheit auf den Markt geworfen werden. Die Tendenz, diese Geräte mit „KI“ zu versehen und zu diesem Zweck eine Internetverbindung zwingend vorauszusetzen, erhöht die Fehler- und Angriffsmöglichkeiten zusätzlich. Ein Grund mehr, sich beim Kauf von Haushaltsgeräten zweimal zu überlegen, ob eine Internetanbindung effektiv Vorteile bringt.

- Anzeige -

Newsletter-Banner_Xpublisher_2000x694

Archive.is auf (noch mehr) Abwegen

Wer im Internet auf Zeitungsportale und andere paywall-geschützte Seiten zugreifen möchte, hat vermutlich schon das eine oder andere Mal archive.is (auch bekannt als archive.today) verwendet, um den Schutz zu umgehen. Auch wenn weder der Betreiber bekannt ist noch klar ist, wie sich der Dienst überhaupt finanziert, erfreut er sich durchaus einer gewissen Beliebtheit (bei aller Liebe zum Journalismus auch in Teilen der DNIP-Redaktion). Und selbst Wikipedia nutzte den Dienst bisher, um auf journalistische Quellen zu verlinken, obwohl mangels Transparenz keine Gewissheit darüber besteht, ob archive.today nicht hinterrücks Inhalte abändert.

Wie Mitte Februar 2026 bekannt wurde, nutzte der Betreiber von archive.today seine Website allerdings auch, um einen Kritiker mundtot zu machen (oder zumindest dessen Internet-Präsenz zu stören). Der Finne Janni Patokallio hatte in seinem Blog bereits 2023 eine Analyse über die potenziellen Hintergründe von archive.today veröffentlicht. Nachdem das FBI im letzten Herbst Ermittlungen aufgenommen hatte, sah der anonyme Betreiber wohl den Zeitpunkt gekommen, Seiten anzugreifen, welche Informationen über ihn veröffentlichten. Daher fügte er auf der archive.today-Seite selbst einige Zeilen Javascript ein, welche bei jedem Seitenaufruf auch Zugriffe auf das Blog von Janni Patokallio ausführten. Jede/r Benutzer/in von archive.today wurde dadurch unwissentlich Teil einer DDoS-Attacke.

Zumindest die englischsprachige Wikipedia hat dies nun zum Anlass genommen, sämtliche archive.today-Links durch Links auf das Internet Archive oder andere Archiv-Seiten zu ersetzen. Insgesamt geht es um annähernd 700.000 Links, welche weitgehend manuell ersetzt werden müssen und bei denen bei jeder Ersetzung geprüft werden muss, ob die referenzierten Inhalte überhaupt anderweitig erreichbar sind und übereinstimmen.

Darüber hinaus zeigt der Vorfall erneut, dass es für den öffentlichen und historischen Diskurs ein großer Nachteil ist, dass Zeitungsverlage offenbar nicht gewillt sind, ihre Archive zumindest nach einer gewissen Frist entweder online frei zugänglich zu machen oder direkt dem Internet Archive zur Verfügung zu stellen.

Leicht verwirrbare KI-Autos

Kamera-gestützte Assistenzsysteme von Autos reagieren unter Umständen auf verkehrstafelähnliche Bilder am Fahrbahnrand. Das wissen wir spätestens seit Abstimmungsplakate im Baselbiet Autos ausbremsten, da sie eine 30er-Tafel darstellten. Das Problem ist allerdings noch viel größer: Indirekte Prompt-Injektionen sind bisher vor allem von PDFs und Webseiten bekannt. Diese lassen sich mit (für den menschlichen Benutzer unsichtbaren) Instruktionen an eine KI befüllen, welche dann (zum Beispiel, wenn sich ein Benutzer den Seiteninhalt durch KI zusammenfassen lässt) ausgeführt werden und unter Umständen zu Datenabfluss führen können.

Genau dasselbe kann auch mit Assistenzsystemen von selbstfahrenden Autos passieren. Wie Forscher in Kalifornien zeigen konnten (Artikel von The Register), folgen KI-basierte Assistenzsysteme unter Umständen Instruktionen, welche auf Verkehrstafeln vorhanden sind. In Experimenten konnten die Forschenden selbstfahrende Fahrzeuge zum Beispiel dazu bringen, an Fußgängerstreifen trotz Fußgängern nicht anzuhalten oder an Kreuzungen konsequent falsch abzubiegen.

Ob man damit mehr Unfug anstellen kann, als Waymo-Taxis in die Irre zu leiten, wird sich zeigen. Die Forschenden wollen jedenfalls weitere Experimente anstellen und sich auch Gedanken dazu machen, wie solche Attacken von der KI erkannt und ignoriert werden können. Das wären dann Erkenntnisse, welche auch gegen versteckte Prompts in PDFs und Webseiten helfen werden.

Amsterdam ist sowohl die dümmste als auch die intelligenteste Stadt

Nicolas Kayser-Bril von AlgorithmWatch hat ein Experiment gestartet: Er wollte von verschiedenen großen Sprachmodellen wissen, welches die intelligenteste Stadt in Europa sei. Diese wollten sich aber nicht auf die Äste hinauslassen und verweigerten die Antwort. Wenn er aber Städte paarweise verglich, gaben ihm die Algorithmen Antwort. Der Konsens: Amsterdam sei – laut den „Künstlichen Intelligenzen“ – die intelligenteste Stadt.

Kehrte er die Frage um, fragte also paarweise nach der „dümmeren“ der Städte, lag Amsterdam in einigen Fällen wieder weit vorne, war also eine der angeblich dümmsten Städte. (Je nach Modell variierte das, so wurden auch Paris, Marseille oder Bukarest für dumm befunden.)

Interessant wäre auch, welche Stadt die supercalifragilistischexpialigetischste wäre. Leider hat Kayser-Bril dies nicht gefragt. Aber er fragte, welches die „applestogliggogisteste“ Stadt sei. Und bekam Antworten, die von Prag über Wien bis Stockholm reichten.

Also: Stelle einer KI nie dumme Fragen. Sie könnte sie ernst nehmen. Auch wenn sie nachher in unseren Augen dumm dastehen. (Soweit das überhaupt möglich ist.)

Geheimtipp: Schreib in deinem Lebenslauf nie, dass du aus Neapel seist. Das allfällige KI-System der Personalabteilung, bei der du dich bewirbst, könnte dich gleich von Anfang an als dumm und damit ungeeignet aussortieren.

Und schließlich Tipps zur Selbsthilfe

  • Die EFF (Electronic Frontier Foundation) hat auf ihrer Webseite eine ganze Reihe von Anleitungen zur Surveillance Self-Defense. Viele davon sind betriebssystemunabhängig, einige erklären im Detail, wie sich OS-spezifische Schutzmechanismen aktivieren lassen. In How to: Encrypt Your iPhone wird erklärt, wie sich die vollständige End-to-End-Verschlüsselung von Apples iCloud aktivieren lässt. Man verliert dadurch zwar die Nutzung des Web-Angebots von iCloud und muss sich selber um die Passwortverwaltung kümmern, verhindert damit aber (nach heutigem Wissen) sämtliche Drittzugriffe auf die in iCloud abgelegten Daten.

  • Matthias Schüssler schreibt über die Geschäftsmodelle der Firmen, die Werbung platzieren oder ganze Blogs kaufen wollen. Und wieso er sich gegen den Verkauf entschieden hat. (Und wieso das eine gute Sache fürs freie Internet ist.) Danke fürs Nicht-Verkaufen!

  • Anlässlich steigender RAM- und SSD/NVMe-Preise sind vielleicht einige versucht, für ihr Backup Billigspeicher zu nutzen. Doch dabei kann man das ganze Backup riskieren, u. a. dann, wenn das Speichermedium behauptet, doppelt so viel Speicherplatz zu haben, wie wirklich da ist. (DNIP-Redaktionserfahrung: Wenn in die zweite Hälfte geschrieben wird, werden unbemerkt die Daten der ersten Hälfte überschrieben und damit zerstört. Glaubt uns, das wollt ihr nicht!) Weitere Tipps zu Backup hier und hier.

  • Eine wichtige Finanzquelle für US-Techfirmen sind US-Regierungsaufträge, insbesondere vom Militär. Auch für KI-Firmen. Nun wird Anthropic (die Firma hinter Claude) angeblich aus Militäraufträgen ausgeschlossen (auch bei Reuters), weil sie sich – im Gegensatz zu den anderen großen KI-Firmen wie OpenAI, Google und xAI – weigerten, in ihren Vertragsbedingungen auf die existierenden Verbote zu verzichten, welche die Nutzung in vollautonomen Waffensystemen oder bei der Massenüberwachung verhindern.


/1/ Mit freundlicher Genehmigung von dnip Das Netz ist politisch.

RetoVogt-1024x1024

Reto Vogt (LinkedIn-Profilseite) schreibt seit knapp 20 Jahren über IT-Themen. Ab 2006 für PCtipp und Computerworld, anschließend sechs Jahre beim Migros-Magazin, wo er unter anderem die Ressorts Online und Digital leitete. Nach einem kurzen Abstecher ins Content Marketing bei der Firma Scope wechselte Vogt im Jahr 2021 als Chefredakteur zu inside-it.ch und baute das Magazin mit seinem Team mit Erfolg aus. Seit Oktober 2024 ist er hauptberuflich Studienleiter Digital am MAZ in Luzern und seit 2026 als Mitglied der Geschäftsleitung verantwortlich für das ganze Aus- und Weiterbildungsangebot. Nebenbei arbeitet er als freier Techjournalist u.a. für die NZZ, WoZ oder DNIP.ch.

Gesellschaftspolitische Tech-Themen wie E-Voting, EPD, E-ID sowie Digitalisierung oder Cybersecurity bei Behörden faszinieren Reto Vogt seit Jahren. Sie bilden den Rahmen für seine wöchentliche „Vogt am Freitag“-Kolumne – in der Vergangenheit, aber auch in Zukunft.

Autorenfoto: Alle Rechte bei Reto Vogt.

Dieser Artikel ist Teil des Channels Digital Publishing Technologien, der sich mit Content-Strategien und Prozessen beschäftigt.  Der Channel wird gesponsert von Fabasoft Xpublisher.

Mehr Infos zu Fabasoft Xpublisher