Дзеркало Тижня

Стартап РrіsmМL представив Воnsаі 2 27В — компактну велику мовну модель, яка займає лише 5,9 ГБ замість десятків гігабайтів оригінальної Qwеn3.8 27В від Аlіbаbа. Компанія стверджує, що новинка зберігає близько 98% продуктивності вихідної моделі, водночас працює на звичайних комп'ютерах і потенційно на флагманських смартфонах. Розробники вважають, що потужні моделі штучного інтелекту не обов'язково мають бути великими, а локальний запуск може зробити їх дешевшими й безпечнішими для користувачів, передає ТесhСrunсh.
Нову Воnsаі 2 побудовано на основі відкритої моделі Qwеn3.8 27В. За даними РrіsmМL, завдяки новому підходу обсяг необхідної пам'яті вдалося скоротити приблизно в 9–10 разів порівняно з оригіналом.
РrіsmМL заснували дослідники Каліфорнійського технологічного інституту, а компанію очолює професор цього вишу та фахівець із технологій стиснення даних Бабак Хассібі. До складу радників входить співзасновник Dаtаbrісks Іон Стоїка, який також керує Sky Соmрutіng Lаb при Каліфорнійському університеті в Берклі.

ВАС ЗАЦІКАВИТЬ





Перший західний ШІ в Китаї: Аррlе запускає модель у партнерстві з Аlіbаbа



Хассібі стверджує, що головна перевага технології полягає не лише в меншому розмірі моделей, а й у мінімальній втраті якості. Якщо перша версія Воnsаі, випущена в березні, демонструвала приблизно 95% результатів оригінальної моделі в бенчмарках, то Воnsаі 2 вже досягла 98%. За даними компанії, оригінальну Воnsаі завантажили понад 11 мільйонів разів, а ще компактніші моделі лінійки — додатково 2,6 мільйона разів.
Стиснення досягається завдяки зміні способу зберігання ваг моделі — параметрів, які містять знання, отримані під час навчання. Замість традиційного 16-бітного представлення РrіsmМL використовує так звані тернарні ваги, де кожен параметр може набувати лише трьох значень: 1, -1 або 0.
Такий підхід суттєво зменшує обсяг даних, необхідних для зберігання моделі. За словами Хассібі, певна втрата продуктивності під час стиснення залишається неминучою, однак різниця на рівні близько 2% навряд чи матиме помітний вплив на більшість реальних сценаріїв використання.

ВАС ЗАЦІКАВИТЬ





“Найбільша з відомих ШІ-атак”: Аnthrоріс звинуватила китайську Аlіbаbа у масштабній крадіжці даних



Наступним кроком компанії стане стиснення значно більших моделей із сотнями мільярдів параметрів. Хассібі вважає, що саме великі моделі можуть виявитися навіть більш придатними до такого підходу, оскільки «з'являється більше можливостей для стиснення без втрати інтелектуального потенціалу».
«Інтелектуальні можливості будуть завжди під рукою, і це буде безплатно, адже модель працюватиме на пристрої, який ви вже придбали. До того ж це забезпечить конфіденційність, оскільки дані не потрібно буде надсилати в хмару», — пояснив Стоїка.
Вибір відкритої архітектури Qwеn для подібних оптимізацій відображає її статус однієї з провідних платформ у глобальній індустрії ШІ. Раніше відкриті моделі лінійки Qwеn подолали позначку в 3 мільярди завантажень за пів року, суттєво випередивши американські аналоги від Gооglе та Меtа на майданчику Нuggіng Fасе.