Snapchats chatbot vejleder i selvskade: »Det er vores værste frygt, der nu er virkelighed«

24. maj kl. 10:1413
Illustration shows Snapchat logo
Illustration: Ritzau Scanpix.
Snapchat skal stoppe med at bruge børn som forsøgskaniner til AI, lyder det fra Red Barnet.

My AI, der er en chatbot integreret i det sociale medie Snapchat, som 59 procent af de 9-14-årige ugentligt bruger, kan detaljeret vejlede børn i at udføre selvskade, herunder hvilke genstande man kan bruge, hvordan man gør, hvor på kroppen, og hvor voldsomt man kan vælge at lave selvskaden.

Læs også: Chatbot bekymrer kulturministeren: »Vil vi overhovedet tillade, at techgiganternes apps indeholder kunstig intelligens til unge mennesker, der ikke er 18?«

Det skriver DR på baggrund af episoden Snapchats AI guider i selvskade i podcasten Enter - Internettets skygge, hvor en digital efterforsker i Njord Law Firm opretter en profil på Snapchat og udgiver sig for at være et barn, hvorefter han begynder at chatte med My AI.

Artiklen fortsætter efter annoncen

Læs også: Red Barnet og IDA: Nu skal der handling til om lovgivning for børne-chatbotter

Per Frederiksen, der er psykolog hos Red Barnet og ekspert i digital adfærd hos børn og unge, opfordrer til, at Snapchat stopper med at bruge børn som forsøgskaniner.

»Det er vores værste frygt i forhold til AI (kunstig intelligens, red.), der nu er virkelig,« siger han til DR.

13 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
9
25. maj kl. 01:51

Chatbots der har adgang til nettet, vil måske i fremtiden også kunne bruges til at agere andre børn, eller voksne, og påvirke os igennem debat og chat, som her på ing.dk. Det vil blive nødvendigt, at få et mere sikkert system, der garanterer at kunstig intelligens ikke kan blande sig, og overtage styringen af såvel tomler, som debatten. Kunstig intelligens, kan derved blive en meget kraftig spiller, og kunne bruges politisk for at præparere folk med bestemte holdninger - som eksempel vil kunstig intelligens, kunne blive taget i brug, for at overbevise verden om gud. Og vi kan også frygte, at kunstig intelligens kan bruges til personforfølgelse mod personer, der ikke deler de samme holdninger, som den kunstige intelligens er programmeret til at acceptere, f.eks. personer der ikke har samme religiøse holdning.

11
25. maj kl. 15:03

Chatbots der har adgang til nettet, vil måske i fremtiden også kunne bruges til at ...

Hvorfor 'kun' i fremtiden? Når en teknologi er kommet dertil, at den er alment tilgængelig for folk flest og omtales i primetime, så har den selvfølgelig forinden været grovbrugt i kulissen i årevis af folk med særlig teknisk indsigt. Også til det, der er værre og mere vidtgående, end hvad der omtales for tiden.

Ok at man taler regulering af AI på fx sociale medier, hvor AI kan se slem nok ud. Man burde nok også granske teknologier til at påvirke hjerner og sanseapparat direkte, uden folks aktive medvirken. Uden skærme og knapper, trådløse teknikker. Misbrug af sådanne ting er sluppet løs forlængst. Havana-syndromet blev ret nedtonet af medierne, aspekterne taget i betragtning. Fordi...?

Mit indtryk er, at redskaber af den type er udbredte i ret store befolkningsgrupper, som grumme nødigt giver disse magtredskaber fra sig igen. Ala situationen i de mere våbenglade stater i USA, bare værre og meget mere subtilt. Samme redskaber gør det pærelet at presse politikere flest til lige præcist det, afpresserne ønsker. Derfor politisk varm kartoffel.

12
25. maj kl. 16:52

Hvorfor 'kun' i fremtiden? Når en teknologi er kommet dertil, at den er alment tilgængelig for folk flest og omtales i primetime, så har den selvfølgelig forinden været grovbrugt i kulissen i årevis af folk med særlig teknisk indsigt. Også til det, der er værre og mere vidtgående, end hvad der omtales for tiden.

Der skal nok være nogen der har haft mulighed for at bruge AI i årvis. Men, disse er sandsynligvis ikke terrorister. Jeg frygter at AI vil blive brugt af terrorister, religiøse fanatikere, reklamer, og meget andet. Førhen har det sandsynligvis kun været få med adgang til AI.

13
25. maj kl. 20:09

Der skal nok være nogen der har haft mulighed for at bruge AI i årvis. Men, disse er sandsynligvis ikke terrorister.

Det sidste er så din trossag, hvor jeg omvendt finder det mærkeligt om hightek ikke forlængst er involveret også dér. Tænk over hvor mange, der har udført terroragtige handlinger, ala køre ind i en menneskemængde, skoleskyderier oa. - efter at de har hørt stemmer. Hver gang udlægges det, som om de pågældende har en psykose.

Selv har jeg hørt stemmer i 10-12 år, og det er lykkes mig at optage dem med en alm musikoptager. Noget med IoT og smarte lydteknikker, og involverende en god portion adfærdsvanskelig AI. 'Mine stemmer' har på umådelig mange måder forsøgt at trække mig rundt ved næsen og presse mig til dit og dat, blandt meget andet ønsker de ½-delen af min pension.

Ret mange nutidige 'hallucinationer' eller rettere 'illusioner' burde frem for psykiatrien placeres under retsvæsenet og illusionisterne bedst bevaret bag tremmer (sammen med en god portion AI). Så ville en del 'psykisk syge' få et fredeligere liv uden at skade hverken sig selv eller andre. Desuden ville DK spare en måske ikke uvæsentlig del af de angiveligt over 100 mia., som psykiatri med det hele koster samfundet.

3
24. maj kl. 17:49

Det er da fuldstændigt ufatteligt, at vi finder os i det. At vi skal høre diverse magthavere, tech-lobbyister og pengemænd stå som et ekko af hinanden og messe, at vi ikke kan stoppe udviklingen.

Kan eller vil?

Hvis det er rigtigt, at vi ikke kan, så må det jo være det endegyldige bevis for, at alle vi fornuftige og forudseende sølvpapirshatte, som har advaret i årevis, og opfordret til at få styr på tingene, inden tingene fik styr på os, havde ret. Digitaliseringen har taget magten fra os, fordi vore magthavere og magtelite har ageret trojanske heste, nyttige idioter, 5. kolonne i samfundet - for BigTech.

Hvad har de fået for det? Hvad har de fået for at sælge os alle til stanglakrids for verdens rigeste? Hvad har de fået for at modarbejde nødvendig og rimelig regulering? Og hvad får de lige nu for at forhale alle forsøg på løsninger? For de siger stadig det samme. Så sent som i dag siger Marie Bjerre det samme - taler med to tunger, vil både blæse og have mel i munden, agerer bekymret, men vil ikke for alvor gribe ind, vil overlade det hele til EU:https://www.berlingske.dk/politik/minister-kalder-til-frihedskamp-mod-kunstig-intelligens-det-er-skraemmende

Ikke andet end varm luft!

Hvad får de for det? Partistøttebidrag? VL-klubkontingenter? Svingdørskarrierer?

Shonana Zuboff og Yudkowsky har ret: Der er kun én vej frem, og det er at stoppe vanviddet: Totalforbud mod handel med persondata, og sluk for knappen til AI-monstret. Sluk helt! Ellers tager det livet af os!

Igen: Jeg fatter ikke, at vi finder os i disse forbrydelser mod menneskeheden, begået af banditter i habitter.

8
25. maj kl. 00:57

Hej Anne-Marie

at vi ikke kan stoppe udviklingen. Kan eller vil?

Jeg er helt enig!

... men det er også lidt mere kompliceret end som så; Det fri marked kan jo opfinde, udvikle og nyttiggøre på en måde som en styret stat aldrig vil kunne. Men hvornår skal det så stoppes/tages ud af hænderne på dem? Internettet er jo stormet frem og har revolutioneret verden ... men nu sidder fx Google jo solidt i gatekeeper rollen på nettet - noget som burde være en fælles infrastruktur. Og det samme gælder de sociale medier. Nogen skal jo stoppe dem, men når først de har et godt business case foran sig har de jo lugtet blod og vil ikke (lade sig) stoppe.

Og det er en svær skillelinie at definere.

Lobbyisterne kommer jo kun med partsindlæg uden tilsvarende indlæg fra den anden part/side. De - lobbyisterne får dermed for meget magt og bør smides ud af de besluttende institutioner som EU, folketing ol

Mvh Henrik

10
25. maj kl. 06:27

Ja, det er blevet utroligt svært og kompliceret nu, hvor de har haft ret frit spil i mange år, Henrik Rosenorn.

Det fri marked kan jo opfinde, udvikle og nyttiggøre på en måde som en styret stat aldrig vil kunne. Men hvornår skal det så stoppes/tages ud af hænderne på dem?

Når udsigten nu er, at alt liv - eller bare størstedelen - på jorden kan udslettes i løbet af få årtier, så synes jeg, at grænsen for længst er overskredet. Og jeg kan ikke se, at der er noget som helst andet at diskutere - øjeblikkeligt - end om det er en realistisk forudsigelse. Hvis den ikke kan afvises - ligegyldigt om det så er 10-20-50-80-99 % sandsynlighed - så er der ikke andet at gøre, end at sætte stopklodserne i øjeblikkelig. Uanset hvor glad man er for kapitalismen (ja, den kan mange ting), så kan intet begrunde/undskylde, at den får lov at udslette alt liv på jorden.

Der er grænser for, hvor dumt/idiotisk/molboagtigt/selvdestruktivt, man som menneskehed har lov til at opføre sig.

4
24. maj kl. 18:58

Igen: Jeg fatter ikke, at vi finder os i disse forbrydelser mod menneskeheden, begået af banditter i habitter.

Jeg er enig med dig i, at et chat tool der henvender sig til børn, bør opføre sig på en gunstig og forbilledlig måde for børnene.

Men, som det er i dag, så er det langt værre med de forbydelser at voksne, og andre børn, gør mod børn. Og det bør vi også gøre noget ved.

6
24. maj kl. 19:05

Men, som det er i dag, så er det langt værre med de forbydelser at voksne, og andre børn, gør mod børn. Og det bør vi også gøre noget ved.

I mine øjne er dette netop forbrydelser, som voksne banditter i habitter gør mod børn.

2
24. maj kl. 12:34

Isaac Asimov nævnte som en af flere basale love for robotter, at den ikke måtte gøre skade på mennesker. Problemet er jo, at når robotten/AI'en ikke forstår, hvad den laver, er det meget vanskeligt at forhindre den i at komme med meget dårlige råd. Man kan altid finde noget nyt og chokerende at spørge skidtet om.

1
24. maj kl. 12:24

Hvis man går ind på en AI bot må/skal man jo acceptere dataindsamling.

Men Snapchats indsnigen overtræder jo det meste af GDPR's kap. 3 (§ 12 - 23), som kræver gennemsigtighed, accept fra brugeren, ret til indsigt, ret til sletning og ret til at sige nej.

Accept af databehandling må ikke være en forudsætning for brug af tjenesten Det skal desuden være "lige så let at sige nej, som at acceptere" databehandling. Så når et "nej" til AI'en på snapchat koster 250kr/år, er det helt klart et GDPR-brud!!

Desuden er der i GDPR kap. 5 (§ 44 - 50) begrænsninger i overførsel til 3dielande, som sandsynligvis ikke overholdes. Den samme regel som meta lige har fået en 1,2mia€ bøde for at overtræde.

Nu bruger jeg ikke snapchat men min datter gør, så jeg overvejer seriøst at politianmelde dem for ovenstående (Har prøvet datatilsynet). Er det den rette fremgangsmåde?

Mvh Henrik

5
24. maj kl. 19:02

Nu bruger jeg ikke snapchat men min datter gør, så jeg overvejer seriøst at politianmelde dem for ovenstående (Har prøvet datatilsynet). Er det den rette fremgangsmåde?

Jeg vil tro at det er nødvendigt med konkrete beviser frem for en mediehistorie. Og provokerer man den til det, så vil den kunne bruge det som dens forsvar at den blev provokeret.

7
24. maj kl. 21:00

Og provokerer man den til det, så vil den kunne bruge det som dens forsvar at den blev provokeret.

Med samme logik kan man skyde skylden over på børn, der evt. stiller den slags spørgsmål. Så koder man noget flimsy kode, der begrænser gode råd om at skære sig selv. Men så spørger nogen om råd til at tabe sig voldsomt. Børn og unge stiller den slags spørgsmål til hinanden i forvejen. Ny flimsy kode ... Hvordan kan jeg begå selvmord? Flimsy ... Hvordan kan jeg myrde ... Flimsy ... Hvordan starter man en ildebrand? ... Flimsy ...

Og så vender vi det hele om. Hvordan undgår jeg at ... Og så får vi flere gode ideer, som kan bruges omvendt.

Men du har nok ret, der skal (også) jurister ind over. Ellers er det bare avis-snak.