Generative Pre-trained Transformer (GPT) je model umelej inteligencie vyvinutý spoločnosťou OpenAI. V skratke, GPT je strojový učiaci sa model, ktorý bol predtrénovaný na veľkom množstve textových dát. Jeho hlavným cieľom je generovať texty, ktoré sú ľudským čitateľom podobné. Tento model využíva štruktúru transformera, ktorá umožňuje spracovanie dlhých textov a zachytenie ich kontextu.

GPT funguje na základe techniky známej ako "transformer-based architecture". Táto architektúra umožňuje modelu pochopiť vzťahy medzi slovami v texte a generovať ďalší text, ktorý je konzistentný s daným kontextom. Model sa učí z obrovského množstva textových dát pomocou techniky zvaného "pretraining". Po predtrénovaní môže byť model ďalej fino-tunovaný na špecifické úlohy alebo aplikácie.