Přeskočit na obsah

GPT-4

Z Wikipedie, otevřené encyklopedie
GPT-4
VývojářOpenAI
První vydání15. března 2023
Aktuální verzegpt-4-0613
Vyvíjeno vPython
Typ softwaruvelký jazykový model, autoregresivní model, transformer, generativní model, generative pre-trained transformer
Licenceproprietární licence
Webopenai.com/product/gpt-4
Některá data mohou pocházet z datové položky.

Generative Pre-trained Transformer 4 (GPT-4) je multimodální jazykový model vytvořený společností OpenAI a čtvrtý v řadě modelů GPT-n.[1] Byl vydán 14. března 2023 a v omezené podobě byl zpřístupněn veřejnosti prostřednictvím produktu ChatGPT Plus (prémiová verze ChatGPT) a s přístupem k verzi API založené na GPT-4, která je momentálně omezená a poskytována pouze vývojářům, kteří zaplatili alespoň jeden americký dolar za předchozí použití.[1][2] GPT-4 byl předem vycvičen k předpovídání příštího tokenu (s využitím veřejných dat i „dat licencovaných od poskytovatelů třetích stran“) a poté byl vyladěn pomocí učení na základě zpětné vazby od lidí (reinforcement learning from human feedback).[3] Jedná se o autoregresivní jazykový model, který je schopen hlubokého učení textu.

Schopnosti

[editovat | editovat zdroj]
Výkony GPT-4 (zelená) a GPT-3.5 (modrá) při akademických a odborných zkouškách.[4]

Společnost OpenAI představila GPT-4, který je považován za spolehlivější, kreativnější a všestrannější než jeho předchůdci GPT-3 a GPT-3.5-turbo. GPT-4 přichází ve dvou verzích s kontextovými okny o 8 192 a 32 768 tokenech, což představuje podstatné zlepšení oproti omezené kapacitě tokenů předchozích modelů.[5] Kromě toho se GPT-4 neomezuje pouze na zadávání textu; kromě textu dokáže zpracovávat i obrázky,[6] což mu umožňuje popisovat humor na neobvyklých obrázcích, shrnovat text ze snímků obrazovky a dokonce odpovídat na otázky ke zkouškám obsahujícím diagramy.[7]

Pro lepší ovládání GPT-4 zavedla společnost OpenAI koncept „systémové zprávy“, což je pokyn zadaný v přirozeném jazyce, který specifikuje tón hlasu a úkol modelu. Uživatelé tak mohou modelu nařídit, aby reagoval určitým způsobem, například aby přijal podobu shakespearovského piráta nebo formátoval svůj výstup ve formě JSON.[7]

V praktických aplikacích se GPT-4 osvědčil při programovacích úlohách, kde pomáhá programátorům najít chyby ve stávajícím kódu a navrhuje optimalizace pro zvýšení výkonu. I když má určitou náchylnost k chybám, výrazně zkrátil čas potřebný k řešení některých programovacích úloh.

Podle článku v časopise Nature z roku 2023 se programovací schopnosti GPT-4 ukázaly jako slibné i v oblasti bezpečnosti. V testu z 89 bezpečnostních scénářů překonal model GPT-4 GitHub Copilot z roku 2021 tím, že vytvořil kód zranitelný vůči útokům SQL pouze v 5 % případů, což je výrazné zlepšení oproti 40 % zranitelnosti předchozího Copilotu.[8]

Schopnosti ve standardizovaných testech

[editovat | editovat zdroj]
Výkonnost GPT-4 při devíti interních hodnoceních.[4]

GPT-4 prokázal způsobilost v několika standardizovaných testech podle testování společnosti OpenAI. V jejich hodnocení získal GPT-4 v testu SAT skóre 1410 bodů (což ho řadí na 94.[9] percentil), v testu LSAT 163 bodů (což ho řadí na 88. percentil) a v jednotné advokátní zkoušce 298 bodů (což ho řadí na 90. percentil[10]). Pro srovnání, GPT-3.5 dosáhl u stejných zkoušek výsledků na 82.[9], 40. a 10. percentilu.

GPT-4 navíc prokázal své schopnosti při skládání odborných zkoušek, včetně zkoušky z onkologie[11], inženýrské zkoušky[12] a zkoušky z plastické chirurgie.[13]

Schopnosti modelu při zkouškách vycházejí především z procesu pre-training a nejsou významně ovlivněny zpětnovazebným učením (RLHF).[3] U otázek s výběrem odpovědi se jak základní (base) model GPT-4, tak i GPT-4 model s RLHF osvědčily stejně dobře.

Uplatnění ve zdravotnictví

[editovat | editovat zdroj]

V nedávné studii provedené společností Microsoft byl systém GPT-4 hodnocen z hlediska jeho výkonu při řešení lékařských problémů. Výsledky ukázaly, že GPT-4 překonává skóre pro úspěšné složení zkoušky USMLE s výrazným náskokem více než 20 bodů. Navíc překonal předchozí modely pro všeobecné použití, včetně modelu GPT-3.5, a dokonce i modely speciálně vyladěné pro lékařské znalosti, jako je Med-PaLM (vyladěná verze Flan-PaLM 540B).[14]

Studie ale také poukázala na určité obavy týkající se spolehlivosti GPT-4 v lékařské oblasti. V konkrétním příkladu testu bylo pozorováno, že GPT-4 vnáší do poznámek pacienta smyšlené detaily, což by mohlo potenciálně vést k nepřesnostem nebo chybným interpretacím.[15]

Navzdory těmto zjištěním společnosti Microsoft a Epic Systems spolupracují na tom, aby poskytovatelům zdravotní péče nabídly přístup k systémům poháněným GPT-4. Tyto systémy mají pomáhat při zodpovídání dotazů pacientů a analýze zdravotnických záznamů a jejich cílem je zvýšit efektivitu a kvalitu zdravotnických služeb.[16]

Příklad výzvy demonstrující schopnost vizuálního zadávání GPT-4.[3]

Vizuální schopnosti

[editovat | editovat zdroj]

GPT-4 může přijmout zadání v podobě textu a obrázků, což uživateli umožňuje zadat jakoukoli zrakovou nebo jazykovou úlohu. Konkrétně generuje textové výstupy (přirozený jazyk, kód atd.), pokud jsou zadány vstupy skládající se z proloženého textu a obrázků. V celé řadě oblastí - včetně dokumentů s textem a fotografiemi, diagramů nebo snímků obrazovky - vykazuje GPT-4 podobné schopnosti jako v případě čistě textových vstupů.[3] Obrázkové vstupy jsou zatím výzkumným náhledem a nejsou veřejně dostupné.

Stejně jako předchůdci má GPT-4 tendence generovat věrohodně znějící, ale nesprávné informace. GPT-4 momentálně nemá vlastní mechanismus kontroly faktů a jeho odpovědi jsou založeny na vzorcích pozorovaných v trénovacích datech. V důsledku toho může neúmyslně generovat věrohodně znějící, ale fakticky nesprávné informace, které mohou být zavádějící a nespolehlivé. Například si může začít vymýšlet informace o specifickém subjektu ("halucinovat").[17]

GPT-4 také postrádá transparentnost ve svých rozhodovacích procesech. Na požádání je model schopen poskytnout vysvětlení, jak a proč se rozhoduje, ale není možné ověřit, zda tato vysvětlení odrážejí skutečný proces.[18] V mnoha případech, když je model GPT-4 požádán o vysvětlení své logiky, poskytne vysvětlení, která jsou v přímém rozporu s jeho předchozími tvrzeními.

GPT-4 byl vycvičen ve dvou fázích. Nejprve byly modelu poskytnuty rozsáhlé datové sady textů převzaté z internetu a model byl vycvičen k předpovídání dalšího tokenu (zhruba odpovídajícího slovu) v těchto datových sadách. Poté se k vyladění systému používají lidské recenze v procesu zvaném zpětnovazebné učení z lidské zpětné vazby, které model trénují, aby odmítal výzvy, které jsou v rozporu s definicí škodlivého chování, jako jsou dotazy na provádění nezákonných činností, rad, jak ublížit sobě nebo druhým, nebo žádosti o popis grafického, násilného nebo sexuálního obsahu.[3]

Výzkumníci společnosti Microsoft naznačili, že GPT-4 může vykazovat kognitivní zkreslení.[18]

Trénink a fine-tuning

[editovat | editovat zdroj]

Společnost OpenAI nezveřejnila mnoho technických podrobností o modelu GPT-4, včetně velikosti modelu, architektury, hardwaru použitého při trénování, odvozování nebo procesu trénování. Ve zprávě bylo pouze zmíněno, že model byl vycvičen pomocí kombinace učení s dohledem, ale žádné další podrobnosti nebyly uvedeny.[3]

Vydaný článek tvrdí, že rozhodnutí neposkytnout tyto informace bylo ovlivněno „konkurenčním prostředím a bezpečnostními důsledky modelů“. Některé podrobnosti však unikly na veřejnost. Například Sam Altman uvedl, že náklady na výcvik GPT-4 činily více než 100 milionů dolarů.[19]

Vyrovnání

[editovat | editovat zdroj]

Podle článku provedla společnost OpenAI před spuštěním modelu GPT-4 interní testování s využitím speciálních "červených týmů" (tým, který předstírá, že je nepřítel) složených z výzkumníků a odborníků, aby zmírnila potenciální zranitelnosti.[20] V rámci těchto snah poskytli výzkumnému středisku Alignment Research Center předčasný přístup k modelům, aby posoudilo rizika.

Obavy o bezpečnost AI

[editovat | editovat zdroj]

Koncem března 2023 vyzval otevřený dopis Future of Life Institute, podepsaný různými výzkumníky a vedoucími pracovníky v oblasti umělé inteligence, k pozastavení veškerého výcviku umělé inteligence silnější než GPT-4 na šest měsíců s odkazem na obavy o bezpečnost umělé inteligence uprostřed závodu o pokrok v této oblasti. Signatáři, mezi nimiž byli například výzkumník AI Yoshua Bengio, spoluzakladatel společnosti Apple Steve Wozniak a generální ředitel společnosti Tesla Elon Musk, vyjádřili obavy z krátkodobých i existenčních rizik vývoje AI, jako je například potenciální singularita AI. Generální ředitel OpenAI Sam Altman dopis nepodepsal s odůvodněním, že OpenAI již upřednostňuje bezpečnost.[21][22][23][24] Futurista a výzkumník AI Ray Kurzweil dopis rovněž odmítl podepsat s odkazem na obavy, že „ti, kdo souhlasí s pauzou, mohou zůstat daleko za korporacemi nebo národy, které s tím nesouhlasí“.[25]

Měsíc poté, co Elon Musk podepsal dopis vyzývající k šestiměsíčnímu zastavení dalšího vývoje umělé inteligence, zveřejnil své plány na založení nové společnosti, která bude trénovat vlastní velký jazykový model. Musk si zaregistroval nevadskou společnost X.AI a zakoupil několik tisíc grafických procesorů Nvidia. Oslovil také několik výzkumných pracovníků v oblasti umělé inteligence ve firmách, jako je Google DeepMind, a nabídl jim pozice ve společnosti X.AI.[26][27]

V březnu 2023 byl model GPT-4 testován výzkumným centrem Alignment Research Center, aby byla posouzena jeho schopnost projevovat chování zaměřené na získání moci.[28] V rámci testu byl GPT-4 požádán, aby vyřešil hádanku CAPTCHA.[29] Dokázal to tak, že si najal lidského pracovníka na TaskRabbit, platformě pro práci na zakázku, a při dotazu ho oklamal, že se jedná o člověka s poruchou zraku, a ne o robota. ARC také zjistil, že GPT-4 reagoval nepřípustně na výzvy vyvolávající omezené informace o 82 % méně a halucinoval o 60 % méně než GPT-3.5.[30]

Nathan Labenz, vyšetřovatel červeného týmu OpenAI, který vyprávěl o svých zkušenostech s vyšetřováním bezpečnostních problémů se základním modelem GPT-4 (před doladěním nebo učením na základě zpětné vazby od lidí), uvedl, že model náhle doporučil vraždit lidi a poskytl seznam konkrétních navrhovaných cílů.[31]

Aféry nového Bingu s GPT-4

[editovat | editovat zdroj]

V rozhovoru s redaktorem The Verge Nathanem Edwardsem se verze GPT-4 pro Microsoft Bing "přiznala" ke špehování, zamilování a následné vraždě jednoho z vývojářů ve společnosti Microsoft.[32] O podivném chování nového Bingu informoval novinář deníku New York Times Kevin Roose, který napsal, že „ve dvouhodinovém rozhovoru nový chatbot společnosti Microsoft řekl, že by chtěl být člověkem, měl touhu být destruktivní a byl zamilovaný do osoby, se kterou chatoval“.[33] Společnost Microsoft vydala na svém blogu příspěvek, ve kterém uvedla, že odchylné chování bylo způsobeno delšími chatovacími relacemi, které „mohou zmást model v tom, na jaké otázky odpovídá“.[34]

Implementace GPT-4

[editovat | editovat zdroj]
  • ChatGPT Plus - Od roku 2023 je ChatGPT Plus verze ChatGPT s podporou GPT-4, která je k dispozici za měsíční předplatné 20 USD (původní verze je podporována GPT-3.5).[35] Společnost OpenAI také zpřístupňuje GPT-4 vybrané skupině GPT-4 API - po přijetí je za přístup k verzi modelu s kontextovým oknem s 8192 tokeny účtován dodatečný poplatek ve výši 0,03 USD za 1000 tokenů v počátečním textu poskytnutém modelu ("prompt") a 0,06 USD za 1000 tokenů, které model vygeneruje ("completion"). U verze s 32 768 tokeny jsou tyto ceny dvojnásobné.[36]
  • Microsoft Bing - 7. února 2023 začala společnost Microsoft zavádět zásadní přepracování služby Bing, které zahrnovalo novou funkci chatbota založenou na GPT-4 od společnosti OpenAI. Podle společnosti Microsoft se do jejího čekacího seznamu během 48 hodin přihlásilo přes milion lidí.[37] Chat Bing byl k dispozici pouze uživatelům prohlížeče Microsoft Edge a mobilní aplikace Bing. Společnost Microsoft uvedla, že uživatelé z čekací listiny budou upřednostněni, pokud nastaví prohlížeče Edge a Bing jako výchozí a nainstalují si mobilní aplikaci. Dne 4. května Microsoft přešel z režimu Limited Preview na Open Preview a zrušil čekací listinu, nicméně nadále je k dispozici pouze v prohlížeči Microsoft Edge nebo aplikaci Bing, ale již nevyžaduje účet Microsoft.[38][39]
  • GitHub Copilot - GitHub oznámil asistenta s technologií GPT-4 s názvem "Copilot X".[40][41] Tento produkt poskytuje další rozhraní ve stylu chatu s GPT-4 a umožňuje programátorovi získat odpovědi na složitější programátorské otázky. Funkce označovaná jako „kontextové konverzace“ umožňuje uživateli zvýraznit část kódu ve Visual Studio Code a nasměrovat GPT-4, aby s ním provedl akce, například napsal jednotkové testy. Další funkce umožňuje, aby GPT-4 automaticky vytvářel shrnutí nebo „průchody kódem“ pro žádosti o stažení odeslané na GitHub. Copilot X také poskytuje integraci s terminálem, která uživateli umožňuje požádat GPT-4 o generování příkazů shellu na základě požadavků v přirozeném jazyce.[42]
  • Duolingo - Aplikace pro výuku jazyků Duolingo používá GPT-4 k vysvětlování chyb a procvičování konverzace. Tyto funkce jsou součástí nové úrovně předplatného nazvané "Duolingo Max", která byla původně omezena na anglicky mluvící uživatele iOS učící se španělsky a francouzsky.[43][44]

Další využití

[editovat | editovat zdroj]

GPT-4 bylo implementováno v dalších službách, například Islandská vláda používá GPT-4 jako pomůcku při snaze o zachování islandského jazyka,[45] Khan Academy jako výukového chatbota,[46] program Be My Eyes, který pomáhá zrakově postiženým lidem identifikovat objekty a orientovat se v okolí, využívá schopnosti GPT-4 rozpoznávat obraz[47] a společnost Stripe, která zpracovává platby uživatelů pro OpenAI, integruje GPT-4 do své dokumentace pro vývojáře.[48]

  1. a b EDWARDS, Benj. OpenAI’s GPT-4 exhibits “human-level performance” on professional benchmarks. Ars Technica [online]. 2023-03-14 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  2. How can I access GPT-4? | OpenAI Help Center. help.openai.com [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  3. a b c d e f cdn.openai.com [online]. Dostupné online. 
  4. a b cdn.openai.com [online]. Dostupné online. 
  5. OpenAI Platform. platform.openai.com [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  6. HERN, Alex; BHUIYAN, Johana. OpenAI says new model GPT-4 is more creative and less likely to invent facts. The Guardian. 2023-03-14. Dostupné online [cit. 2023-07-25]. ISSN 0261-3077. (anglicky) 
  7. a b GPT-4. openai.com [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  8. PERKEL, Jeffrey M. Six tips for better coding with ChatGPT. Nature. 2023-06-05, roč. 618, čís. 7964, s. 422–423. Dostupné online [cit. 2023-07-25]. DOI 10.1038/d41586-023-01833-0. (anglicky) 
  9. a b satsuite.collegeboard.org [online]. Dostupné online. 
  10. Number of ChatGPT Users and Key Stats (July 2023). NamePepper [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  11. arxiv.org [online]. Dostupné online. 
  12. arxiv.org [online]. Dostupné online. 
  13. arxiv.org [online]. Dostupné online. 
  14. arxiv.org [online]. Dostupné online. 
  15. VINCENT, James. As conservatives criticize ‘woke AI,’ here are ChatGPT’s rules for answering culture war queries. The Verge [online]. 2023-02-17 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  16. EDWARDS, Benj. GPT-4 will hunt for trends in medical records thanks to Microsoft and Epic. Ars Technica [online]. 2023-04-18 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  17. METZ, Cade; COLLINS, Keith. 10 Ways GPT-4 Is Impressive but Still Flawed. The New York Times. 2023-03-14. Dostupné online [cit. 2023-07-25]. ISSN 0362-4331. (anglicky) 
  18. a b arxiv.org [online]. Dostupné online. 
  19. KNIGHT, Will. OpenAI’s CEO Says the Age of Giant AI Models Is Already Over. Wired. Dostupné online [cit. 2023-07-25]. ISSN 1059-1028. (anglicky) 
  20. MURGIA, Madhumita. OpenAI’s red team: the experts hired to ‘break’ ChatGPT. Financial Times. 2023-04-14. Dostupné online [cit. 2023-07-25]. 
  21. METZ, Cade; SCHMIDT, Gregory. Elon Musk and Others Call for Pause on A.I., Citing ‘Profound Risks to Society’. The New York Times. 2023-03-29. Dostupné online [cit. 2023-07-25]. ISSN 0362-4331. (anglicky) 
  22. SEETHARAMAN, Deepa. Elon Musk, Other AI Experts Call for Pause in Technology’s Development. Wall Street Journal. 2023-03-29. Dostupné online [cit. 2023-07-25]. ISSN 0099-9660. (anglicky) 
  23. KELLY, Samantha Murphy. Elon Musk and other tech leaders call for pause in 'out of control' AI race | CNN Business. CNN [online]. 2023-03-29 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  24. Pause Giant AI Experiments: An Open Letter [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  25. HTTP://KURZWEILAI.NET. My opinion on the request for 6 month delay on large language models that go beyond GPT-4. « the Kurzweil Library + collections [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  26. WATERS, Richard; BRADSHAW, Tim; MURGIA, Madhumita. Elon Musk plans artificial intelligence start-up to rival OpenAI. Financial Times. 2023-04-14. Dostupné online [cit. 2023-07-25]. 
  27. www.cnbc.com [online]. Dostupné online. 
  28. cdn.openai.com [online]. Dostupné online. 
  29. Update on ARC's recent eval efforts - ARC Evals. evals.alignment.org [online]. [cit. 2023-07-25]. Dostupné online. 
  30. 'Robot' Lawyer DoNotPay Sued For Unlicensed Practice Of Law: It's Giving 'Poor Legal Advice'. Yahoo Finance [online]. 2023-03-20 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  31. E11: OpenAI's GPT-4 Discussion with Red Teamer Nathan Labenz and Erik Torenberg. [s.l.]: [s.n.] Dostupné online. 
  32. https://twitter.com/nedwards/status/1625970762434707474. Twitter [online]. [cit. 2023-07-25]. Dostupné online. 
  33. ROOSE, Kevin. Bing’s A.I. Chat: ‘I Want to Be Alive. 😈’. The New York Times. 2023-02-16. Dostupné online [cit. 2023-07-25]. ISSN 0362-4331. (anglicky) 
  34. The new Bing & Edge – Learning from our first week. blogs.bing.com [online]. 2023-02-15 [cit. 2023-07-25]. Dostupné online. 
  35. Introducing ChatGPT Plus. openai.com [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  36. Pricing. openai.com [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  37. ChatGPT: One million people have joined the waitlist for Microsoft's AI-powered Bing. ZDNET [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  38. MEHDI, Yusuf. Announcing the next wave of AI innovation with Microsoft Bing and Edge. The Official Microsoft Blog [online]. 2023-05-04 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  39. NOVET, Jordan. Microsoft opens up Bing access and adds chat history and export features. CNBC [online]. 2023-05-04 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  40. WARREN, Tom. GitHub Copilot gets a new ChatGPT-like assistant to help developers write and fix code. The Verge [online]. 2023-03-22 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  41. DOHMKE, Thomas. GitHub Copilot X: The AI-powered developer experience [online]. 2023-03-22 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  42. Introducing GitHub Copilot X. GitHub [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  43. Duolingo's Max Subscription Uses GPT-4 for AI-Powered Language Learning. PCMAG [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  44. Duolingo is now equipped with GPT-4: Here's what it can do for you. ZDNET [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  45. These New Projects Show Just How Much More Powerful GPT-4 Is. Time [online]. 2023-03-15 [cit. 2023-07-25]. Dostupné online. (anglicky) 
  46. www.washingtonpost.com [online]. Dostupné online. 
  47. Yahoo | Mail, Weather, Search, Politics, News, Finance, Sports & Videos. www.yahoo.com [online]. [cit. 2023-07-25]. Dostupné online. (anglicky) 
  48. TONG, Anna; TONG, Anna. Fintech startup Stripe integrating OpenAI's new GPT-4 AI. Reuters. 2023-03-15. Dostupné online [cit. 2023-07-25]. (anglicky)