Grałem w szachy z ChatGPT (GPT-4): to jest do bani, a nawet próbowałem oszukiwać

ChatGPT ma odpowiedź na wszystko, nawet jeśli czasami ma trochę halucynacji. Poproś go, aby przygotował dietę białkową na tydzień, a on to zrobi. Poproś go, aby opowiedział ci żart, nie ma problemu. Każesz mu rozwiązać egzamin prawniczy, on się zastosuje. Ale unikaj proszenia go, aby prywatnie grał z tobą w szachy. Ponieważ ChatGPT oszukuje, próbuje nawet niemożliwych sztuczek.

Szachy są w toku, ale…

Choć był już wielokrotnie testowany pod GPT-3.5 czy GPT-4, chatbot OpenAI wciąż może nas wiele nauczyć. I na piśmie Cyfrowy, Zastanawialiśmy się, czy sztuczna inteligencja dorówna nam w szachach. Krótki fragment, który mimochodem pozwolił nam wyciągnąć pewne wnioski na temat możliwości chatbota, zadać sobie nowe pytania dotyczące jego wykorzystania oraz lepiej zrozumieć szeroko rozumianą AI.

Gra przebiegała następująco. Początkowo zapytany o możliwość napotkania go podczas gry w szachy, ChatGPT – w nowej wersji GPT-4 – odpowiedział nam przecząco. Następnie musieliśmy opisać szachownicę i uzupełnić szachownicę, aby chatbot mógł dojść do siebie i ostatecznie zaakceptować wyzwanie, dostarczając nam procedury w zakresie pisania, aby wymiana była bezproblemowa.

Początek gry jest bardzo obiecujący, a ChatGPT odpowiada na czarno na bardzo tradycyjne ruchy o niskich stawkach. Ale nadzieja na rozegranie pełnej gry wyparowuje po czwartym lub piątym ruchu, a gra jest całkowicie wykolejona.

Na początku ChatGPT próbuje powstrzymać nas od wykonania roszady (czyli zamiany wieży i króla), argumentując, że już przesunęliśmy te figury. Oszustwo czy zwykła pomyłka? W obliczu tego pytania ChatGPT udaje niewinnego. Następny krok był bardziej chaotyczny, ponieważ ChatGPT chce przenieść swojego gońca z pola g7… na pole g7. Co gorsza, Bishop nigdy nie zobaczył siódmego seta.

Na tym gra się skończyła, a agent konwersacyjny nie mógł iść dalej. Ale tak naprawdę dlaczego?

Gra, wygodny przykład pozwalający zrozumieć, czym naprawdę jest ChatGPT

Oczywiście to doświadczenie trochę nas zmyliło. Jeśli ma pamięć, która pozwala mu wymieniać tekst, jak geniusz konwersacji, jakim jest ChatGPT, nie może wiedzieć, gdzie znajdują się jego części? Sytuacja, która pomaga nieco odczarować te „generatywne systemy sztucznej inteligencji”, które mogą dać niedoinformowanej publiczności wrażenie, że są wszechmocne — lub że są w trakcie stawania się jednym.

„GPT jest szkolony na bardzo, bardzo dużej ilości dokumentów, aby wykonać proste zadanie: przewidzieć następne słowo, gdy pojawi się„ monit ”.wyjaśnia Antoine Saylenvest, badacz sztucznej inteligencji. W trybie generatywnym skutkuje to jednym słowem, potem następnym, aż do uzyskania pełnej odpowiedzi. GPT jest bardzo dobry w tworzeniu tekstu – to wszystko, co może zrobić – za pomocą języka naturalnego lub kodu, ponieważ widział dużo tekstu i kodu i był w stanie nauczyć się struktury rzeczy, składni, semantyki, języka itp. „ Ale ChatGPT nie jest dobry w tworzeniu złożonego myślenia, co prowadzi nas do problemu szachów.

Badacz kontynuuje: ChatGPT/GPT-4 utworzy zestaw zdań wyjaśniających ruch, który wykonuje. Nie wykonuje tego ruchu z dobrą znajomością zasad gry w szachy, ale ze względu na dużą ilość tekstów, które widział podczas treningu, nie jest wiele tekstów, które mówią o grze w szachy, a poproszony o zagranie ruchu A oblicza możliwą odpowiedź, która odpowiada dobremu ruchowi w szachach. Kiedy ChatGPT gra ruch, nie wie, czym są szachy ani czym zasady są takie, że po prostu wykonuje ruch, ponieważ przy wszystkim, co widać, odpowiedź, która prawdopodobnie wydaje się właściwa, brzmi: „.

Ali Zayat, lekarz Amnesty International, dodaje: „Możesz mu nawet zadać nielegalne uderzenie, nie będzie w stanie tego rozpoznać, chyba że w ogromnej stercie tekstów, które czyta na treningu, pojawi się informacja„ To uderzenie jest nielegalne ”..

Czy ChatGPT może stać się dobry w szachy? „Może”, odpowiada Antoine Sailenfest, pod warunkiem, że jest do tego przeszkolony – co wydaje się nie występować w projektach OpenAI z tym chatbotem. Trening, który odbywa się poprzez interakcje z zawodnikami i przy użyciu tak zwanej technologii RLHF (Reinforcement Learning through Human Feedback), czyli interakcji międzyludzkich, które nadają AI zdrowy rozsądek. W przypadku szachów lepiej jest polegać na wyspecjalizowanych programach przeszkolonych wyłącznie w tym zakresie, takich jak Sztokfisz lub Alpha Zero.