- Специальный корреспондент
Не первоапрельская шутка, но настоящая революция в использовании LLM.
Компания Opera Software внесла экспериментальные изменения в свой браузер Opera One, добавив возможность локального запуска крупных языковых моделей (LLM) в рамках программы AI Feature Drop. Пока что эта функция доступна исключительно в версии браузера для разработчиков, доступного только на настольных платформах.
Обновление добавляет в Opera One Developer 150 различных LLM из 50 семейств, включая популярные LLaMA, Gemma и Mixtral.
Ранее Opera предлагала в своём браузере только языковую модель Aria собственной разработки, используемую в качестве чат-бота наподобие Copilot от Microsoft и ChatGPT от OpenAI.
Ключевое отличие Aria от прочих языковых моделей заключается в том, что ей не нужен доступ в Интернет для работы. Теперь по такому же принципу будут работать ещё 150 языковых моделей. Доступ к Интернету для их работы не нужен за исключением первого запуска, а все обработанные через модель данные останутся на компьютере пользователя.
Компания также предложила потенциальный будущий вариант использования локальных LLM для обработки истории посещений пользователя и прочих данных, чтобы используемый в браузере чат-бот стал максимально персонализированным и знал о пользователе буквально всё для лучшего понимания контекста запросов. На этом моменте самое время надеть на голову шапочку из фольги.
«Это настолько передовая технология, что она может не работать», — шутливо отметили представители Opera в своём блоге. Вице-президент компании Ян Стандал подтвердил, что сборки для разработчиков часто экспериментальные и могут быть «немного сырыми».
Локальная работа больших языковых моделей, вероятно, будет значительно медленнее, чем использование их же, но онлайн, на серверах с мощными GPU от Nvidia. Однако более серьёзной проблемой, чем низкая производительность домашнего железа, может стать требуемое дисковое пространство: большинство моделей занимает от 2 до 10 ГБ памяти, а некоторые и вовсе могут достигать в объёме пугающих 70 ГБ.
Таким образом, если пользователь по какой-то причине захочет установить сразу все 150 моделей, даже накопителя на 1 терабайт может оказаться недостаточно.
Наибольшая ирония заключается в том, что именно интернет-браузер, предполагающий постоянное наличие сети для работы, стал единым вместилищем множества чат-ботов, которые не требуют подключения к Интернету. Хотя тут, опять же, акцент делается скорее на безопасности данных, чем на использование LLM в спартанских условиях.
Несмотря на возможные ограничения и временную недоступность функции для всех желающих, Opera One стал первым в мире браузером, предложившим решение для локального запуска LLM на ПК. Это определённо вызывает восторг и чёткое ощущение, что будущее уже здесь.
Компания Opera Software внесла экспериментальные изменения в свой браузер Opera One, добавив возможность локального запуска крупных языковых моделей (LLM) в рамках программы AI Feature Drop. Пока что эта функция доступна исключительно в версии браузера для разработчиков, доступного только на настольных платформах.
Обновление добавляет в Opera One Developer 150 различных LLM из 50 семейств, включая популярные LLaMA, Gemma и Mixtral.
Ранее Opera предлагала в своём браузере только языковую модель Aria собственной разработки, используемую в качестве чат-бота наподобие Copilot от Microsoft и ChatGPT от OpenAI.
Ключевое отличие Aria от прочих языковых моделей заключается в том, что ей не нужен доступ в Интернет для работы. Теперь по такому же принципу будут работать ещё 150 языковых моделей. Доступ к Интернету для их работы не нужен за исключением первого запуска, а все обработанные через модель данные останутся на компьютере пользователя.
Компания также предложила потенциальный будущий вариант использования локальных LLM для обработки истории посещений пользователя и прочих данных, чтобы используемый в браузере чат-бот стал максимально персонализированным и знал о пользователе буквально всё для лучшего понимания контекста запросов. На этом моменте самое время надеть на голову шапочку из фольги.
«Это настолько передовая технология, что она может не работать», — шутливо отметили представители Opera в своём блоге. Вице-президент компании Ян Стандал подтвердил, что сборки для разработчиков часто экспериментальные и могут быть «немного сырыми».
Локальная работа больших языковых моделей, вероятно, будет значительно медленнее, чем использование их же, но онлайн, на серверах с мощными GPU от Nvidia. Однако более серьёзной проблемой, чем низкая производительность домашнего железа, может стать требуемое дисковое пространство: большинство моделей занимает от 2 до 10 ГБ памяти, а некоторые и вовсе могут достигать в объёме пугающих 70 ГБ.
Таким образом, если пользователь по какой-то причине захочет установить сразу все 150 моделей, даже накопителя на 1 терабайт может оказаться недостаточно.
Наибольшая ирония заключается в том, что именно интернет-браузер, предполагающий постоянное наличие сети для работы, стал единым вместилищем множества чат-ботов, которые не требуют подключения к Интернету. Хотя тут, опять же, акцент делается скорее на безопасности данных, чем на использование LLM в спартанских условиях.
Несмотря на возможные ограничения и временную недоступность функции для всех желающих, Opera One стал первым в мире браузером, предложившим решение для локального запуска LLM на ПК. Это определённо вызывает восторг и чёткое ощущение, что будущее уже здесь.
