Geoffrey Hinton

Geoffrey Everest Hinton

Państwo działania	Kanada, Wielka Brytania
Data i miejsce urodzenia	6 grudnia 1947 Londyn
profesor
Specjalność: informatyka, psychologia poznawcza
Alma Mater	University of Cambridge Uniwersytet Edynburski
Uczelnia	University of Toronto
Nagrody
Nagroda Nobla w dziedzinie fizyki
Strona internetowa

Geoffrey Everest Hinton CC FRS FRSC (ur. 6 grudnia 1947 w Londynie) – kanadyjsko-brytyjski informatyk, psycholog poznawczy, najbardziej znany ze swoich prac nad sztucznymi sieciami neuronowymi, jeden z pionierów sztucznej inteligencji, nazywany jej ojcem chrzestnym. Profesor emeritus (od 2014) Uniwersytetu w Toronto. W 2024 otrzymał Nagrodę Nobla w dziedzinie fizyki za „fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe z wykorzystaniem sztucznych sieci neuronowych”.

Życiorys

Urodził się w 1947 r. w londyńskiej dzielnicy Wimbledon, w rodzinie z tradycjami naukowymi. Jego prapradziadkiem był George Boole, żonaty z Mary Boole. Jego wujem był wynalazca Sebastian Hinton, stryjecznym dziadkiem matematyk i pisarz Charles Howard Hinton, który stworzył koncepcję czwartego wymiaru, kuzynką Joan Hinton, która była fizyczką nuklearną zatrudnioną przy projekcie Manhattan, stryjeczną ciotką pisarka i muzyczka Ethel Lilian Voynich. Jego ojcem był entomolog Howard Hinton. Jego drugie imię pochodzi od innego krewnego, George’a Everesta, generalnego geodety Indii, na cześć którego najwyższemu szczytowi na Ziemi nadano nazwę Mount Everest.

Na University of Cambridge początkowo zamierzał studiować fizjologię i fizykę, po czym krótko zgłębiał filozofię, ale ostatecznie uzyskał dyplom w 1970 r. w zakresie psychologii eksperymentalnej. Po studiach krótko pracował jako stolarz, ale w 1972 r. wrócił do nauki. W 1977 r., na Uniwersytecie w Edynburgu, na podstawie rozprawy Relaxation and its Role in Vision uzyskał doktorat w zakresie prac nad sieciami neuronowymi. Promotorem pracy był Christopher Longuet-Higgins. Tematyka prowadzonych przez Hintona badań nie wzbudzała wówczas zainteresowania, stąd też trudno było o jej finansowanie. Hinton wyemigrował do Stanów Zjednoczonych, gdzie dołączył do grupy psychologów poznawczych jako postdoc na University of California, San Diego. W dwóch artykułach z 1986 r. spopularyzował również opracowane wyniku prac z Ronaldem J. Williamsem pojęcie propagacja wsteczna. Pozwoliła ona pokonać ograniczenia opisane wcześniej przez Marvina Minsky′ego.

Gdy w USA badania nad systemami głębokiego uczenia się i komputerowymi sieciami neuronowymi nie były doceniane, przeniósł się do Kanady. W 1987 r. przyjął ofertę Canadian Institute of Advanced Research i zainaugurował tam program Learning in Machines and Brain, tworząc prężny ośrodek badawczy na Uniwersytecie w Toronto. Od 1998 do 2001 r. pracował w Gatsby Computational Neuroscience Unit at University College London, po czym wrócił do Toronto. W 2012 r. wraz z zespołem wygrał doroczny konkurs ImageNet, prezentując komputerowy system, który potrafił rozpoznać 1000 obiektów dzięki głębokiemu uczeniu. W 2013 r. jego firma DNNresearch Inc. została przejęta przez Google, a on sam pracował od tej pory dla tego koncernu.

W 2014 r. odszedł na uczelnianą emeryturę i założył w Toronto oddział Google Brain. Od 2017 r. pracował wolontariacko jako główny doradca naukowy Toronto’s Vector Institute w projekcie wdrożenia uczenia maszynowego na potrzeby kanadyjskiej opieki zdrowotnej i innych usług publicznych.

Badania naukowe

Hinton jest postrzegany jako wiodąca postać w nurcie badań naukowych głębokiego uczenia się.

Hinton wspólnie z Davidem Ackleyem i Terrym Sejnowskim wynaleźli maszyny Boltzmanna. Jego inny wkład w badania sieci neuronowych obejmują reprezentacje rozproszone, sieci neuronowe z opóźnieniem czasowym, mieszanki ekspertów, maszyny Helmholtza i produkt ekspertów. W 2007 roku Hinton był współautorem artykułu dotyczącego uczenia się bez nadzoru zatytułowanego Uczenie się bez nadzoru transformacji obrazu. Przystępne wprowadzenie do badań Hintona można znaleźć w jego artykułach w Scientific American we wrześniu 1992 i październiku 1993 r.

W czasie badań po doktoracie w Uniwersytecie Kalifornijskim w San Diego, w 1986 r. Hinton wraz z Davidem Rumelhartem i Ronaldem J. Williamsem opublikowali pracę, która spopularyzowała algorytm propagacji wstecznej do uczenia wielowarstwowych sieci neuronowych. Praca ta była ważna w popularyzacji propagacji wstecznej, lecz autorzy nie byli jedynymi, którzy zaproponowali takie podejście. Automatyczne różnicowanie w trybie odwrotnym, którego szczególnym przypadkiem jest wsteczna propagacja, zostało zaproponowane przez Seppo Linnainmaa w 1970 r., a Paul Werbos zaproponował wykorzystanie go do uczenia sieci neuronowych w 1974 r.

Badania Hintona dotyczą sposobów wykorzystania sieci neuronowych do uczenia maszynowego, pamięci, percepcji i przetwarzania symboli. Jest autorem lub współautorem ponad 200 recenzowanych publikacji. Na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS) przedstawił nowy algorytm uczenia się sieci neuronowych, który nazywa algorytmem „Forward-Forward”. Ideą nowego algorytmu jest zastąpienie tradycyjnych przebiegów propagacji wstecznej w przód i w tył dwoma przebiegami w przód, jednym z dodatnimi (tj. rzeczywistymi) danymi, a drugim z ujemnymi danymi, które mogą być generowane wyłącznie przez sieć.

Promotor naukowców i kontynuatorów badań

W 2016, pracownicy grupy badań nad głębokim uczeniem się, od lewej do prawej, Ruslan „Russ” Salakhutdinov, Richard S. Sutton, Geoffrey Hinton, Yoshua Bengio i Steve Jurvetson

Hinton był promotorem wielu doktoratów, w Uniwersytecie w Toronto i Uniwersytecie Carnegie Mellon, z zakresu badań nad rozwojem sztucznej inteligencji: Richard Zemel, Radford Neal, Brendan Frey, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, późniejszy współzałożyciel i główny naukowiec firmy OpenAI. W ramach prac na rozwojem sztucznej inteligencji, w badaniach postdoctoral współpracował z takimi naukowcami jak: Yann LeCun, Alex Graves, Zoubin Ghahramani, Peter Dayan, Sam Roweis oraz Max Welling.

Wyróżnienia i nagrody

Hinton został wybrany członkiem Royal Society FRS w 1998 r. Był pierwszym laureatem nagrody Rumelharta w 2001 r. W 2001 r. Hinton otrzymał tytuł doktora honoris causa Uniwersytetu w Edynburgu. W 2005 r. otrzymał nagrodę IJCAI Award for Research Excellence za całokształt twórczości. Został również odznaczony Złotym Medalem Herzberg Canada w 2011 r. w dziedzinie nauki i inżynierii. W 2013 r. Hinton otrzymał tytuł doktora honoris causa Université de Sherbrooke. W 2016 r. został wybrany członkiem zagranicznym National Academy of Engineering „za wkład w teorię i praktykę sztucznych sieci neuronowych oraz ich zastosowanie do rozpoznawania mowy i widzenia komputerowego”. Otrzymał również nagrodę IEEE/RSE Wolfson James Clerk Maxwell Award w 2016 r.

Hinton otrzymał w 2018 r. Nagrodę Turinga, często nazywaną „nagrodą Nobla w dziedzinie informatyki”, „za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się krytycznym elementem informatyki”. Hinton otrzymał nagrodę wraz z Yannem LeCunem i Yoshuą Bengio, za swoją pracę nad głębokim uczeniem się. Są oni czasami określani jako „ojcowie chrzestni sztucznej inteligencji” i „ojcowie chrzestni głębokiego uczenia się” i publicznie, wspólnie, wygłaszają wykłady. Hinton i nagrodzeni uczeni zdobyli nagrodę Turinga za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się kluczowym elementem informatyki.

W 2018 r. został Kawalerem Orderu Kanady. W 2021 r. otrzymał nagrodę Dickson Prize in Science od Carnegie Mellon University, a w 2022 r., wspólnie z Yan LeCun, Yoshuą Bengio i Demisem Hassabisem nagrodę księżnej Asturii w kategorii badań naukowych.

W 2024 otrzymał (wspólnie z Johnem Hopfieldem) Nagrodę Nobla w dziedzinie fizyki za „fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe z wykorzystaniem sztucznych sieci neuronowych”.

Kontynuacja aktywności

Po tym, jak OpenAI wypuściła w 2023 r. kolejną wersję chatbota ChataGPT, ponad tysiąc ekspertów i badaczy technologii opublikowało list otwarty wzywający do trwającego pół roku moratorium na rozwój nowych systemów. Hinton nie był jednym z sygnatariuszy listu, gdyż nie chciał publicznie krytykować firmy Google jako jej pracownik. Wkrótce potem zdecydował się jednak na odejście z firmy, ze względu na to, że zmieniła politykę wobec AI i przyśpieszyła prace nad nią pod presją konkurencji. Hinton przyznał, że już w momencie, gdy podjął publiczną krytykę szybkiego rozwoju narzędzi AI, były one narzędziem do wytwarzania i szerzenia dezinformacji obejmującej zdjęcia, nagrania i teksty.