Швеция разработва собствен езиков модел на базата на AI

Езиков модел на базата на изкуствен интелект за всеки от северногерманските езици разработва организация, наречена Artificial Intelligence Sweden. Проектът обхваща шведски, датски, норвежки, исландски и фарьорски език. AI Sweden получава финансиране от Шведската агенция за иновации - Vinnova, още през 2019 г. за проект, наречен "Езиков модел за шведските власти". Целта е да се създадат езикови модели, които да могат да се използват предимно от публичния сектор, но с възможност да се предоставят и на частния.

"Нуждаехме се от модели, върху които можем да работим, за да ги изследваме и модифицираме спрямо нуждите на шведското общество", каза Магнус Салгрен, ръководител на изследователския отдел за разбиране на естествен език (NLU) в AI Sweden - и бивш хеви метъл китарист. "Основните модели от Google например не са публично достъпни. Това е една голяма причина да изграждаме наши собствени."

Но друга причина за изграждането на езикови модели е свързана със суверенитета. Основните модели са основни компоненти на много езикови приложения. Една държава може да бъде уязвима, ако зависи твърде много от частния сектор за такъв основен ресурс - особено когато частните компании са базирани извън Швеция. За да запълни тази празнина, изследователският екип решава да разработи свои собствени модели за шведски.

Влиянието на GPT-3

Пускането на GPT-3 се оказа огромен скок в областта на обработката на естествен език (NLP). Той всъщност е най-големият езиков модел, който светът някога е виждал, като обхваща 175 милиарда параметъра. Вдъхновени от GPT-3, изследователите от AI Sweden, които вече са работили върху езикови модели, обмислят как да го приложат в една държава. Те събират консорциум от различни организации, които могат да помогнат за изграждането на базови модели. Консорциумът включва изследователските институти на Швеция (RISE) и най-голямата индивидуална изследователска програма Wallenberg AI, Autonomous Systems and Software.

Именно сътрудничеството с Wallenberg дава достъп на консорциума до шведския суперкомпютър Berzelius, който е специално проектиран да помага при решаването на задачи, свързани с изкуствен интелект. Консорциумът работи в тясно сътрудничество с NVIDIA, които осигуряват хардуера и софтуера за захранване на моделите.

Основното предизвикателство пред шведските учени са данните. Поради ограничения брой на хората, които говорят на шведски език, липса и достатъчно онлайн текстове. Изследователите заобикалят този проблем, като се възползват от факта, че шведският е типологично подобен на другите езици в семейството на северногерманските езици. Като вземат данни на шведски, норвежки, датски и исландски, те имат достъп до значителни количества данни, които могат да бъдат намерени в отворени колекции от данни онлайн.