GPT-3

Generative Pre-trained Transformer 3 (GPT-3) är en autoregressiv språkmodell, som använder djupinlärning för att producera text, som liknar sådan som människor producerar.

Sextio procent av den viktade förträningsdatauppsättningen för GPT-3 kommer från en filtrerad version av Common Crawl som består av 410 miljarder byte-par-kodade tokens. Andra källor är 19 miljarder tokens från WebText2 som representerar 22 % av viktat totalt, 12 miljarder tokens från Books1 som representerar 8 %, 55 miljarder tokens från Books2 representerar 8 % och 3 miljarder tokens från Wikipedia som representerar 3 %.[1]: 9 GPT-3 tränades på hundratals miljarder ord och är kapabel. av kodning i bland annat CSS, JSX, Python.[1]

GPT-3 Träningsdata
Datauppsättning Antal tokens Vikt i träningsmix
Common Crawl 410 miljarder 60 %
WebText2 19 miljarder 22 %
Books1 12 miljarder 8 %
Books2 55 miljarder 8 %
Wikipedia 3 miljarder 3 %

Referenser

Den här artikeln är helt eller delvis baserad på material från engelskspråkiga Wikipedia, GPT-3, 18 december 2021.
v • r
Differentierbar datoranvändning
General
Differentierbar programmering • Neural Turing maskin • Differentierbar neural dator • Automatisk differentiering • Neuromorf ingenjörskonst • Cable theory • Mönsterigenkänning • Beräkningslärandeteori • Tensorkalkyl
Begrepp
Gradient descent • SGD • Klusteranalys • Regression • Overfitting • Adversary • Attention • Faltning • Förlustfunktioner • Backpropagation • Normalization • Activation • Softmax • Sigmoid • Rectifier • Regularization • Datasets • Augmentation
Programmeringsspråk
Python • Julia
Applikationer
Maskininlärning • Artificiellt neuronnät • Djupinlärning • Numerisk analys • Federerad inlärning • Artificiell intelligens
Hårdvara
IPU • TPU • VPU • Memristor • SpiNNaker
Mjukvarubibliotek
TensorFlow • PyTorch • Keras • Theano
Implementation
Audiovisuellt
Verbal
Word2vec • Transformator • BERT • NMT • Project Debater • Watson • GPT-2 • GPT-3
Beslutande
Alphago • AlphaZero • Q-learning • SARSA • OpenAI Five • Självkörande bil • MuZero • Action selection • Robot control
Personer
Alex Graves • Ian Goodfellow • Yoshua Bengio • Geoffrey Hinton • Yann LeCun • Andrew Ng • Demis Hassabis • David Silver • Fei-Fei Li
Organisationer
Deepmind • Hi! PARIS • Openai • MIT CSAIL • Mila • Google Brain

Noter

  1. ^ Bussler, Frederik (21 juli 2020). ”Will GPT-3 Kill Coding?” (på engelska). Medium. https://towardsdatascience.com/will-gpt-3-kill-coding-630e4518c04d. Läst 18 december 2021.