Голем јазичен модел (LLM) е јазичен модел кој се состои од невронска мрежа со многу параметри (обично над милијарда), обучени на големи количини на неозначен текст користејќи самостојно учење. LLM се појавиле околу 2018 година и добро се справуваат со широк спектар на задачи. Најпознат ваков модел е ChatGPT.
За потребите на овој текст направивме и еден плакат.
Во плакатот се вклучени нивоа наречени од S до XL, т.е. од GPT-FAI (трениран на13 милијарди параметри) објавен во јуни 2022 година, до последните најави за додатоци (плагини) на Chat-GPT4 и други модели со отворен код кои се тренираат за помалку од 300 долари.
Подолу се прикажани нивоата на развој на LLM. Податоците се преземени од ова видео:
НИВО „S“
GPT-FAI (13 милијарди параметри) и PaLM (8 милијарди параметри)
- Основна аритметика: Моделите не биле учени на математичките операции, но сепак совладале основни аритметички операции.
- Дебагирање на код: Способност да помине бројни редици код и да најде што не е во ред во одреден дел од кодот.
- Читање и разбирање: Разбирање и читање, можеби на ниво на прво одделение.
- Основна јазични операции: создавање статии, поезија, приказни, вести, дијалози…
НИВО „М“
GPT-3 (175 млд), LaMDA (137 млд), PaLM (64 млд), Chinchilla (7 млд)
- Лингвистички загатки: Создавање и решавање на јазични загатки
- Конвертирање наслови: Конвертирање наслови од филмови во емотикони
- Разбирање и решавање на GRE: (Graduate Record Examinations) стандардизиран испит кој често е потребен за прием на постдипломски програми на глобално ниво.
- Физичка интуиција: Просторно разбирање на светот.
- Разбирање на метафори: Јазичните модели веќе се движат кон повисоко ниво на јазично разбирање.
- Логичка дедукција: Изведување заклучоци според логичките правила.
НИВО „L“
PaLM (540 млд), Chinchilla (70 млд)
- Геометриски форми: Разбирање на геометриските форми
- Поговорки на различни јазици: Преведување и создавање поговорки на различни јазици со јазична логичност.
- Фонетска азбука: Истражувачите го тестираат „изговорот“ на различни зборови на англиски јазик
- Елементарна математика: Математика на многу понапредно ниво. Овие модели не биле научени како да пресметуваат. Некако научиле што значат операциите и што се случува на двете страни од равенките.
- Каузалност: Разбирање и примена на причинско-последични односи.
- Опис на линии код: Напредок во програмирањето, разбирање на линии код со опис на нивното значење.
НИВО „XL“
GPT-4 (1 терабајт), Gemini (1T)
- Успех на испити: Успех на испити на ниво на факултет (врвен 10 перцентил), дури и на медицина и право.
- Самокритичност и рефлексија: Самокритика на сопствените одговори и зголемување на точноста со анализа и менување на резултатите.
- Градење апликации: Генерирање на код, а потоа цели датотеки и директориуми за создавање апликации.
- Просторно расудување: Може да го види светот и можете да му испраќате фотографии за да има повеќе разбирање за тоа како предметите се вклопуваат во просторот
- Напредна креативност: Се уште откриваме што може да направи, римување е само еден интересен пример за креативност.
- Графички приказ и манипулирање на слики: Голема новина е графички приказ на податоците, графикони, табели, слики, манипулирање на слики
Иднина?
Голем исчекор се:
1) Додатоците (плагини) на ChatGPT, како и приклучувањето на моделот онлајн. Со тоа ќе се решат многу проблеми како проверувањето факти;
2) Тренирање на нови модели за многу малку пари што ќе доведе до лавина бесплатни и open-source модели.
Но, всушност никој не може да предвиди што носи иднината!