Nowy projekt Facebooka: Ego4D. Sztuczna inteligencja uczy się świata z ludzkiej perspektywy

Facebook łączy siły z 13 uczelniami z dziewięciu krajów. Wspólnie chcą stworzyć zbiór danych Ego4D. Nazwa nieprzypadkowa, bo chodzi o to, by nauczyć systemy sztucznej inteligencji (AI), jak rozumieć świat z ludzkiej perspektywy.

Do projektu wybrano ponad 700 uczestników, którzy nosili na sobie kamery. W ten sposób udało się zgromadzić ponad 2200 godzin filmów z perspektywy pierwszej osoby.

Ta ogromna kolekcja nagrań jest ponad 20 razy większa niż jakakolwiek poprzednia wersja pod względem liczby godzin materiału. To cenne źródło informacji dla badaczy sztucznej inteligencji, którzy chcą, aby ich algorytmy były szkolone na ludzkich zachowaniach.

Badacze Facebook AI we współpracy z konsorcjum i Facebook Reality Labs Research (FRL Research) opracowali pięć wskaźników, które mogą przyczynić się do rozwoju aplikacji dla przyszłych asystentów sztucznej inteligencji. Zgromadzony materiał powinien pomóc w udzieleniu odpowiedzi na pytania dotyczące pamięci epizodycznej (co się stało, kiedy? - np. "Gdzie zostawiłem klucze?"), prognozowania (co prawdopodobnie zrobię dalej? - np. "Czekaj, już dodałeś sól do tego przepisu"), manipulacji rękami i przedmiotami (co ja robię? - np. "Naucz mnie grać na perkusji"), diaryzacji audiowizualnej (kto powiedział, co i kiedy? - np. "Jaki był główny temat zajęć?"), interakcji społecznej (kto wchodzi w interakcję z kim? - np. "Pomóż mi lepiej słyszeć osobę rozmawiającą ze mną w tej głośnej restauracji").

Testy porównawcze przyspieszą badania nad elementami niezbędnymi do opracowania inteligentniejszych asystentów sztucznej inteligencji, którzy potrafią zrozumieć i wchodzić w interakcje nie tylko w świecie realnym, ale także w metaverse, gdzie miesza się rzeczywistość prawdziwa z tą wirtualną i rozszerzoną.

Zrozumieć, jak ludzie komunikują się ze sobą

W artykule zespół badawczy ilustruje przykład jazdy na kolejce górskiej i pokazuje, jak różne są filmy z perspektywy pierwszej osoby w porównaniu z oglądaniem z perspektywy trzeciej osoby lub nawet drugiej osoby. Naukowcy podkreślają, że chociaż może to być łatwe dla ludzi, którzy doświadczają takiego zdarzenia w wartości nominalnej (trzeciej osoby), sztuczna inteligencja nie rozumie jeszcze, co robimy w oparciu o nasz osobisty punkt widzenia; nigdy nie będą wiedzieć dokładnie, gdzie patrzymy, ponieważ każdy człowiek doświadcza rzeczy inaczej. Możliwe jest powiązanie komputerowego systemu wizyjnego z kolejką górską w celu robienia zdjęć, ale problem pojawia się, gdy podobnych filmów jest zbyt wiele.

Kamery używane do zbierania danych uchwyciły pierwszoosobowe, pozbawione skryptów codzienne życie uczestników, takie jak zakupy i gotowanie. Urządzenia rejestrowały również rozmowy w czasie rzeczywistym bez tłumaczenia, co może pomóc naukowcom lepiej zrozumieć, w jaki sposób ludzie komunikują się ze sobą na całym świecie, a także ich własne tożsamości

Konsorcjum uniwersyteckie ma opublikować dane na temat projektu jeszcze w tym roku.

Problemy Facebooka

Niedawno doszło do największej w historii awarii platform Facebooka. Były niedostępne na całym świecie przez ok. sześć godzin. Menedżerowie z branży internetowej ocenili dla portalu Wirtualnemedia.pl, że to przestroga dla firm i celebrytów, że nie warto komunikacji opierać tylko na tych platformach.

W drugim kwartale br. Facebook osiągnął wzrost przychodów o 56 proc. do 29,08 mld dolarów i zysku netto z 5,18 do 10,39 mld dolarów. Koncern zaznaczył, że w drugim półroczu tempo wzrostu jego wyników może znacząco spaść.

Z należących do koncernu platform Facebook, Instagram i WhatsApp w zeszłym kwartale przynajmniej raz w miesiącu skorzystało 3,51 mld użytkowników, wobec 3,14 mld rok wcześniej. Liczba internautów korzystających z samego Facebooka zwiększyła się z 2,7 do 2,89 mld. Koncern nie podaje dokładnych danych o liczbie użytkowników Instagrama i WhatsAppa.