DeepSeek

Z Multimediaexpo.cz

Logo projektu DeepSeek
Dva dny konzultací s DeepSeekem o budoucnosti naší encyklopedie !

DeepSeek (čínsky 深度求索, pinyin Shēndù Qiúsuǒ) je čínská společnost zabývající se umělou inteligencí, která vyvíjí open-source velké jazykové modely (LLM). Společnost je financována výhradně čínským hedge fondem High-Flyer.

Obě společnosti, DeepSeek i High-Flyer, sídlí v Chang-čou v provincii Če-ťiang. Zakladatelem je Liang Wenfeng, který má blízké konexe na Komunistickou stranu Číny.[1]

Obsah

Pozadí

Společnost High-Flyer založili v roce 2015 tři inženýři z Čeťiangské univerzity, kteří začali během finanční krize v letech 2007–2008 ještě jako studenti obchodovat s cennými papíry. Firma využívala strojové učení k obchodování s akciemi.[2] V roce 2019 založili firmu High-Flyer AI, která se věnovala výzkumu AI algoritmů a jejich základních aplikací.[3] Do roku 2021 všechny strategie High-Flyer využívaly AI, a proto byla firma srovnávána s americkým hedge fondem Renaissance Technologies.[4]

V dubnu 2023 High-Flyer oznámil, že vytvoří novou nezávislou divizi pro výzkum umělé obecné inteligence, která nebude využívána k obchodování s akciemi a bude oddělena od finančního byznysu High-Flyer.[5][6] V květnu 2023 byla tato společnost spuštěna pod názvem DeepSeek.[3][6] Práce firmy DeepSeek je financován společností High-Flyer.[4][6] Rizikové kapitálové společnosti se totiž do financování nehrnuly, protože bylo nepravděpodobné, že by společnost byla schopna v krátkém časovém období dosáhnout exitu.[3]

Po vydání DeepSeek-V2 v květnu 2024, které nabízelo vysoký výkon za nízkou cenu, se DeepSeek stal katalyzátorem cenové války na trhu s AI modely v Číně. Byl rychle označen jako „Pinduoduo v AI“ a další velké technologické společnosti jako ByteDance, Tencent, Baidu a Alibaba Group začaly snižovat ceny svých AI modelů, aby DeepSeeku dokázaly konkurovat. Navzdory nízké ceně byl DeepSeek ve srovnání se svými konkurenty ziskový, a oni prodělávali.[7]

Zatím se DeepSeek zaměřuje výhradně na výzkum a nemá podrobné plány pro komercializaci.[7] Při náboru nových zaměstnanců preferuje DeepSeek technické schopnosti před pracovními zkušenostmi, takže většina nových zaměstnanců jsou buď čerství absolventi univerzit, nebo vývojáři, kteří za sebou nenají zvláštní kariéru v oboru AI.[6]

Než americká vláda uvalila na Čínu omezení týkající se čipů s umělou inteligencí, zakladatel Liang si vytvořil zásobu více než 10 000 grafických procesorů NVIDIA A100 PCIe 80 GB. Některé odhady uvádějí až 50 000 kusů.[8]

Verze jazykových modelů Deepseek

Dne 2. listopadu 2023 DeepSeek představil svůj první model, DeepSeek Coder. Model je zdarma pro výzkumníky i komerční uživatele a je plně open source.[9] Kód modelu je licencován pod licencí MIT s dodatkem licenční smlouvy týkajícím se „otevřeného a zodpovědného použití“ modelu.[10]

Dne 29. listopadu 2023 DeepSeek spustil DeepSeek LLM, který dosáhl 67 miliard parametrů. Měl konkurovat jiným dostupným LLM s výkonem blízkým GPT-4, nicméně měl potíže v oblasti výpočetní efektivity a škálovatelnosti.[9] Byla také vydána chatbotová verze tohoto modelu s názvem DeepSeek Chat.[11]

Model V2

V květnu 2024 byl spuštěn DeepSeek-V2. Financial Times uvedl, že byl levnější než jeho konkurenti, s cenou 2 jüany za milion výstupních tokenů. Žebříček LLM University of Waterloo Tiger Lab zařadil DeepSeek-V2 na sedmé místo.[4]

Model V3

V prosinci 2024 byl spuštěn DeepSeek-V3. Obsahoval 671 miliard parametrů a byl trénován přibližně 55 dní na datasetu 14,8 bilionu tokenů za cenu 5,58 milionu USD,[6] což je výrazně méně zdrojů ve srovnání s konkurenty. Benchmarky ukázaly, že překonal modely Llama 3.1 a Qwen 2.5 a dosáhl srovnatelného výkonu s GPT-4o a Claude 3.5 Sonnet.[6][12][13][14] Optimalizace DeepSeeku na omezené zdroje zdůraznila potenciální limity amerických sankcí na vývoj AI v Číně.[6][15] Noviny The Hill popsaly vydání tohoto modelu jako „Sputnikovou událost“ americké AI, čímž je přirovnaly k šoku Američanů ve chvíli, když Sovětský svaz dokázal na oběžnou dráhu vyslat první umělou družici Země.[16]

Model funguje jako komise expertů s Multi-head Latent Attention Transformerem a obsahuje 256 specializovaných expertů a 1 sdíleného experta. Každý token aktivuje 37 miliard parametrů a více.[17]

Celkové náklady na trénování modelu DeepSeek-V3[6]
Fáze Náklady v tisících GPU hodin Náklady v milionech USD
Předtrénování 2664 5,328
Rozšíření kontextu 119 0,24
Ladění 5 0,01
Celkem 2788 5,576

Model R1

V listopadu 2024 byl uveden model DeepSeek R1-Lite-Preview, trénovaný pro logické usuzování, matematické uvažování a řešení problémů v reálném čase. Ukázal se jako srovnatelný s modelem o1 od OpenAI.[18]

Dne 20. ledna 2025[19] byly vydány modely DeepSeek-R1 a DeepSeek-R1-Zero. Byly založeny na V3-Base. Mají MIT licenci, jsou open-source a volně použitelné.[20] Stejně jako V3 je každý z nich založený na technice mixture of experts s 671 miliardami parametrů celkem a 37 miliardami aktivovaných parametrů při generování odpovědi. Společnost také vydala modely „DeepSeek-R1-Distill“, které však nejsou přímo založeny na R1. Místo toho jsou podobné jiným open-weight modelům, jako jsou LLaMA a Qwen, a byly doladěny na syntetických datech generovaných R1.

R1-Zero je trénován čistě pomocí zpětnovazebního učení (RL) pomocí metody group relative policy optimization (GRPO).[21] Systém odměn je založen na pravidlech a skládá se hlavně ze dvou typů odměn: odměn za přesnost a odměn za formát.

Ke konci ledna 2025 vydali čínští výzkumníci model pro tvorbu obrázků Janus-Pro-7B, který dle benchmarků předčil model DALL-E 3 od Open AI.[22][23]

Velká Galerie

YouTube

China's DeepSeek triggers global tech sell-off
A shocking Chinese AI advancement called DeepSeek
is sending US stocks plunging


I Think I Love Deepseek R1
Big Tech in panic mode...
Did DeepSeek R1 just pop the AI bubble?


Reference

  1. ↑ China’s DeepSeek AI poses formidable cyber, data privacy threats | Biometric Update. www.biometricupdate.com [online]. 2025-01-26 [cit. 2025-01-27]. Dostupné online.  ( ) 
  2. ↑ Billions Going to China's Quants Takes Fight to Global Funds. Bloomberg News, 31. května 2020. Dostupné online. (en) 
  3. ↑ 3,0 3,1 3,2 OTTINGER, Lily. Deepseek: From Hedge Fund to Frontier Model Maker [online]. 9. prosince 2024. Dostupné online. (en) 
  4. ↑ 4,0 4,1 4,2 The Chinese quant fund-turned-AI pioneer. Financial Times, 9. června 2024. Dostupné online.  
  5. ↑ YU, Xu. [Exclusive] Chinese Quant Hedge Fund High-Flyer Won't Use AGI to Trade Stocks, MD Says [online]. 17. dubna 2023. Dostupné online. (en) 
  6. ↑ 6,0 6,1 6,2 6,3 6,4 6,5 6,6 6,7 Meet DeepSeek: the Chinese start-up that is changing how AI models are trained [online]. 1. ledna 2025. Dostupné online. (en) 
  7. ↑ 7,0 7,1 ChinaTalk – Deepseek: The Quiet Giant Leading China's AI Race (anglicky)
  8. ↑ How a top Chinese AI model overcame US sanctions. MIT Technology Review [online].  [cit. 2025-01-27]. Dostupné online.  ( ) 
  9. ↑ 9,0 9,1 SE, Ksenia. Inside DeepSeek Models [online]. 28. srpna 2024. Dostupné online. (en) 
  10. ↑ DeepSeek-Coder/LICENSE-MODEL at main · deepseek-ai/DeepSeek-Coder [online]. . Dostupné online. (en) 
  11. ↑ SHARMA, Shubham. Meet DeepSeek Chat, China's latest ChatGPT rival with a 67B model [online]. 1. prosince 2023. Dostupné online. (en-US) 
  12. ↑ JIANG, Ben. Chinese start-up DeepSeek's new AI model outperforms Meta, OpenAI products [online]. 27. prosince 2024. Dostupné online. (en) 
  13. ↑ SHARMA, Shubham. DeepSeek-V3, ultra-large open-source AI, outperforms Llama and Qwen on launch [online]. 26. prosince 2024. Dostupné online. (en-US) 
  14. ↑ DeepSeek's new AI model appears to be one of the best 'open' challengers yet [online]. 26. prosince 2024. Dostupné online.  
  15. ↑ SHILOV, Anton. Chinese AI company's AI model breakthrough highlights limits of US sanctions [online]. 27. prosince 2024. Dostupné online. (en) 
  16. ↑ WADE, David. American AI has reached its Sputnik moment. The Hill, 2024-12-06. Dostupné online. (en-US) 
  17. ↑ DEEPSEEK-AI; LIU, Aixin; FENG, Bei; XUE, Bing; WANG, Bingxuan; WU, Bochao; LU, Chengda. DeepSeek-V3 Technical Report. (s.l.): (s.n.), 2024-12-27.
  18. ↑ QU, Raffaele Huang and Tracy. Don’t Look Now, but China’s AI Is Catching Up Fast. WSJ [online].  [cit. 2025-01-27]. Dostupné online.  ( ) 
  19. ↑ Release DeepSeek-R1 · deepseek-ai/DeepSeek-R1@23807ce [online]. . Dostupné online. (en) 
  20. ↑ DeepSeek-R1 Release | DeepSeek API Docs. api-docs.deepseek.com [online].  [cit. 2025-01-27]. Dostupné online.  ( ) 
  21. ↑ SHAO, Zhihong; WANG, Peiyi; ZHU, Qihao; XU, Runxin; SONG, Junxiao; BI, Xiao; ZHANG, Haowei. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. (s.l.): (s.n.), 2024-04-27.
  22. ↑ https://www.reuters.com/technology/deepseeks-janus-pro-ai-model-beats-rivals-image-generation-2025-01-27/
  23. ↑ LAWLER, Richard. DeepSeek says its newest AI model, Janus-Pro can outperform Stable Diffusion and DALL-E 3.. The Verge [online]. 2025-01-27 [cit. 2025-01-27]. Dostupné online.  ( ) 

Externí odkazy


Flickr.com nabízí fotografie, obrázky a videa k tématu
DeepSeek
Commons nabízí fotografie, obrázky a videa k tématu
DeepSeek
Citováno z „http://ww2000w.multimediaexpo.cz/mmecz/index.php/DeepSeek“