Poängen är nog snarare när en modell når självförbättring / singulariteten och det sker en snabb exponentiell förbättring utanför människans kontroll. Alla bolagen jobbar mot det.
I det läget kan det springa iväg väldigt snabbt.
Självförbättring har vi väl haft i åratal redan, sedan dessa bolag började använda de egna produkterna för att förbättra desamma?
Inte i den bemärkelsen som dom pratar om nu.
Det var ju just det Anthropics VD (Dario) skrev om i sin essä igår.
1 gillning
Kul story om hur man blir en kartell som kontrollerar AI (och styr världen). Endgame för hela fear mongering-grejen kring AI?
2 gillningar
Tror jag med. Kineserna har redan visat att tekniken inte är nåt särskilt i sig.
Tror du att det skadar eller hjälper deras varumärke att varna och vilja dra i handbromsen?
Hjälper. Jag tror att folk i allmänhet är så jäkla lättskrämda och lättmanipulerade att de kommer att vilja ha de “godkända”, av amerikanska staten kontrollerade tjänsterna, istället för open source.
Verkar bolagen behöva den stämpeln? De har redan en stor del av marknaden. Hur många människor i ditt nätverk kör öppna modeller?
Och investerarna, tror du att de tycker att det är bra om de ledande bolagen helt plötsligt inte får utnyttja det övertag de har?
Tja, jag tycker Dario verkar ganska desperat i den här intervjun. Läs gärna kommentarerna till inlägget. Många är rätt underhållande, tycker jag.
Du tycker inte att det är konstigt att privata bolag som drivs av kvartalsrapporter framför allmännytta får fatta beslut i frågor som potentiellt kan påverka mänsklig existens vara eller icke vara? Nu har jag dock skrivit nog i ämnet för närvarande. Var och en väljer att tro på vad de vill.
Samtidigt i Kina 
Ett kort citat:
TL;DR Like human evolution, AI evolution will unfold through a vast and extraordinary history.
Everything AI has achieved so far is but a drop in the ocean.
Hade nog varit enklare om du faktiskt plottade ner eventuella farhågor i punktform så att dom faktiskt går att bemöta.
Ditt inlägg blir ren rappakalja.
1 gillning
Fast nu har det ju faktiskt mest varit de som utvecklar tekniken som också har varit domedagsprofeterna, de borde väl vara de som bäst kan bedöma risken. Det är ju Anthropics o OpenAI’s o XAI’s VD:ar resp ägare som skrikt högst (och en o annan avhoppare). Så att det bara är känslopjunk är nog inte problemet.
Själv håller jag mig till den mer cyniska falangen som tror att de gör det av rent affärsmässiga skäl inför IPO:erna. Om tekniken är så bra att den kan utrota mänskligheten lite när den vill så är det klart att många vill köpa aktierna även om de är “aningen” dyra.
1 gillning
Jag tycker att det är svårt att bedöma. Dario Amodei uttrycker sig inte riktigt så drastiskt i sin artikel. Det är, om jag minns rätt, framför allt fokus på informationssäkerhet. Även om man håller sig till rent affärsmässiga faktorer så tycker jag att det är en rimlig oro.
I ett scenario där Anthropics eller OpenAI:s produkter används för “cyber terrorism” i stor skala, och det verkar “omöjligt att stoppa”, så skulle kanske bolagen tas över av amerikanska staten. Nu kommer sådana attacker förmodligen ändå använda kinesiska modeller, men om jag var VD på Anthropic hade jag velat distansera mig från detta så mycket som möjligt. Artikeln nämner också Kina och föreslår bland annat att exportförbuden på chip ska stärkas, och även att amerikanska bolag inte kan stanna helt eftersom Kina då kommer att bli dominerande.
Jag tror dock inte att Amodei är (enbart) en cynisk affärsman här (Altman och Musk, kanske). Anthropic grundades som jag förstår det av folk från “AI safety” falangen på OpenAI. Att man nu är ett ledande bolag inom kommersiellt användande av AI beror på att Claude Code varit så framgångsrikt.
Det finns genuina risker här. En observation jag själv gjort är att det verkar bli svårare och svårare att hålla den tredjeparts open source mjukvara vi använder på jobb uppdaterad och utan CVE:er. Jag tror att det finns väldigt många latenta sårbarheter, men att det inte funnits tillräckligt många personer med rätt expertis och incitament för att hitta i närheten av alla av dem. Jag hoppas att mycket av detta nu patchas med hjälp av AI, innan det hinner användas för göra allt för mycket skada.
Nu börjar det bli intressant. Användaren Kevin Bass på X har gjort en granskning av Antropics finanser. Grok sammanfattar rapporten som följer.
Kevin Bass’s audit claims Anthropic built a regulatory capture machine. METR, proposed as independent AI risk evaluator, is funded via networks reliant on Anthropic growth including Moskovitz’s stake now up to $7.7B in Good Ventures foundations. Same sources fund AI-doom outlets like Tarbell Center, locking in a self-amplifying feedback loop. He calls for Congressional investigation. Evidence, figures and GitHub are in the thread.
Svensk översättning via Google Translate:
Kevin Bass granskning hävdar att Anthropic byggde en regulatorisk fångstmaskin. METR, som föreslås som oberoende AI-riskutvärderare, finansieras via nätverk som är beroende av Anthropics tillväxt, inklusive Moskovitz andel som nu är uppe i 7,7 miljarder dollar i Good Ventures-stiftelser. Samma källor finansierar AI-undergångskanaler som Tarbell Center, vilket låser in en självförstärkande återkopplingsslinga. Han efterlyser en kongressutredning. Bevis, siffror och GitHub finns i tråden.
En del kloka tankar här: (7 min)
Håller med om att p-doom är låg, men p-kris-med-hjälp-av-AI är hög.
Jo det ligger säkert mycket i det du skriver. Silicon Valley hatar ju normalt ”regulations” så när de till och med begär att staten skall granska och godkänna deras produkter i förväg så beror det sannolikt på att de tror att risken att det skiter sig kraftfullt är stor. Då vill de såklart kunna gömma sig bakom att produkten var godkänd av staten.
Jag tror däremot absolut inte att de tror att staten är bättre på att bedöma risken än de själva.
Hmmmm, något dramatiskt ändå sista tiden med dessa tunga höga AI chefer som tycker att AI utvecklingen nu måste börja regleras etc. Risken för att AI möjliggör mycket allvarliga intrång i datasystem som skulle kunna få mycket allvarliga följder. Även dessa domedagsprofetior om risk för utplåning av mänskligheten om ingenting görs och gud vet vad.
Kan denna oro och dessa spekulationer i värsta fall eskalera och börja trycka ner börserna på riktigt? Vad tror ni andra?
En annan tolkning är att det kommuniceras så för att bibehålla intresset och tron (på just dessa amerikanska bolag, inför stundande IPOs - de blöder kapital)
Några röster sa det samma om gpt-2 - för kraftigt för att kunna släppas lös!
3 gillningar
Man måste ju säga att det är ett intressant strategiskt beslut att säga
- Snälla, reglera oss
- Vi håller på att utveckla något som kan ta död på hela mänskligheten
- Skjuta upp sin IPO pga ovan nämnda risker
För att hypa sin stundande IPO
1 gillning