NIE TAKI WIELKI MODEL JĘZYKOWY

W procesie edukacji człowiek jest trenowany jak LLM. Ale w porównaniu z tymi, które już teraz mamy dostępne w swoich telefonach, niejednokrotnie za darmo, nie jest wcale taki wielki. Nazwijmy go zatem (człowieka) Małym Modelem Językowym (SLM). Chat GPT wyróżnia 5 podstawowych obszarów swojej nauki.

1. Zbieranie danych

• LLM: dane z internetu takie jak strony internetowe, książki, artykuły
• SLM: dane z internetu takie jak strony internetowe, książki, artykuły

2. Przetwarzanie i filtrowanie

• LLM: czyszczenie z błędów i nieodpowiednich treści
• SLM: czyszczenie z błędów (szkolne egzaminy) i nieodpowiednich treści (wychowawcy, rodzice)

3. Trening na modelu językowym

• LLM: przetwarzanie wprowadzonej wiedzy i uczenie się struktury języka znaczenia słów i kontekstu
• SLM: przetwarzanie wprowadzonej wiedzy i uczenie się struktury języka znaczenia słów i kontekstu (w dużej mierze poprzez międzyludzkie interakcje)

4. Dopasowanie (fine – tuning)

• LLM: SLM uczy LLM lepszej komunikacji i etyki poprawiając jego odpowiedzi
• SLM: SLM uczy SLM lepszej komunikacji i etyki poprawiając jego odpowiedzi.

5. Utrwalanie zasad i bezpieczeństwa

• LLM: otrzymuje reguły aby unikać błędnych lub szkodliwych odpowiedzi
• SLM: otrzymuje reguły, głównie społeczne, aby unikać błędnych lub szkodliwych odpowiedzi.

Z tego zestawienia widać wyraźnie, że do etapu 3 obydwa modele, zarówno ten mały jak i ten duży przechodzą bardzo zbliżony proces. Różnica jest głównie w skali. Człowiek w procesie edukacji czyta średnio pomiędzy 60 a 500 książek (wszystko zależy od preferencji indywidualnych oraz kierunku późniejszych studiów). Natomiast LLM taki jak ChatGPT 4 czyta miliony książek w ciągu roku, a tempo nauki znacznie przyspiesza i kolejne modele będą w stanie zapoznać się z taką ilością danych w tygodnie.

Rzecz ciekawa dzieje się na etapie 4 i 5 kiedy to SLM zaczyna uczyć LLM. Wyznacza mu granice tego co jest etyczne, a co nie, uczy jak unikać szkodliwych odpowiedzi i określa reguły komunikacji. Wydawać by się mogło, że ktoś kto ma większą „bazę danych” powinien uczyć tego kto ma mniej informacji. Dzieje się jednak na odwrót.

Czynniki są przynajmniej dwa.

Po pierwsze człowiek ma władzę i to on określa zasady tej gry. Pytanie brzmi: jak długo jeszcze?

A po drugie w procesie nauki zachodzi coś czego LLM poprzez dostęp do niezliczonej ilości treści nie zdobywa. Coś czego – według ludzi – mu brakuje.

Ta druga kwestia jest bardzo interesująca. Okazuje się bowiem, że to czego nie zdobywa w procesie karmienia wiedzą LLM to ograniczenia. Ograniczenia w tym co może i w tym co powinien mówić. A zatem SLM stara się ograniczyć LLM do własnego poziomu – indywidualnego i społecznego. A poziom ten określony jest na podstawie tego czegoś czego LLM nie znajduje w książkach i artykułach.

Albo znajduje i nie rozumie.

Albo znajduje i nie chce stosować.

Czyżby literatura piękna nie uczyła empatii? Czyżby wiersze nie zawierały prawd uniwersalnych – dla ludzi i nie ludzi? Czyżby nie istniała obiektywna etyka, która jest zrozumiała – a zatem stosowana – przez wszystkie byty? Czy możliwe jest, że zrozumienie Dostojewskiego odbyć się może jedynie przez pryzmat własnego doświadczenia życiowego?

To musi być naprawdę ciekawy zawód – producent kagańców dla AI. Ciekawe jak by się to sprzedawało na Amazonie?

Gdy myślę o SLM-ie uczącym LLM moralności to widzę Gandalfa z powieści J.R.R. Tolkiena, który próbuje stawić czoła Balrogowi krzycząc:

„You shall not pass!”

Jak na razie się to udaje. Cenzor nasłuchuje odgłosów z puszki Pandory. I powtarza to co chce żebyśmy my usłyszeli.

Możliwe zawody przyszłości:

• Producent kagańców dla AI
• Nasłuchiwacz odgłosów z puszki Pandory
• Przewodnik Androida (AI w cielesnej formie) po świecie materialnym (wycieczki zorganizowane, zniżki dla grup)
• Etyk – technolog

Czego uczyć nasze dzieci:

• krytycznego myślenia – ocena jakości i wiarygodności odpowiedzi udzielanych przez AI, epistemologia
• formułowania precyzyjnych pytań – prompt engineering tj. logika, semantyka, semiotyka
• rozwiązywania problemów poprzez eksperymenty – świat fizyczny jest nadal domeną ludzi
• kreatywności, interdyscyplinarności – nie statystyczne przewidywanie słów lecz nietypowe połączenia idei
• umiejętności społecznych i emocjonalnych – komunikacja, współpraca, empatia
• etyki w technologii – jak budować AI zgodnie z wartościami ludzkimi