Запустили llm.js — библиотеку для запуска больших языковых моделей в браузере

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Библиотека поддерживает разные популярные решения, в том числе llama-cpp (GGUF/GGML); LLaMa 2; Dolly v2; GPT2; GPT J; GPT NEO X; MPT; Replit; StarCoder.

Для тестов доступна песочница и несколько тестовых проектов. Отмечается, что скорость генерации ниже, чем в других больших библотеках.

Предполагается, что добавят новые модели и форматы. llm.js можно применять в собственных веб-приложениях. На сайте есть вся необходимая информация для ее подключения.

Недавно мы писали, что API Compression Streams сжимает и распаковывает потоки данных. Он использует форматы gzip или deflate (или deflate-raw). Благодаря API размер приложения не увеличивается: библиотека сжатия больше не нужна.

Читайте также
Dev новости: Инструменты и интеграции ИИ, Pull Requests Gone Wild
Dev новости: Инструменты и интеграции ИИ, Pull Requests Gone Wild
Dev новости: Инструменты и интеграции ИИ, Pull Requests Gone Wild

На этой неделе OpenAI привлекла внимание новостями о добавлении дополнительной памяти к ChatGPT и представлении Sora, новой модели текста в видео, но разработчиков могут заинтересовать и другие объявления компании.

Dev новости: Zed редактор, Nuemark, Expo и Bun Shell
Dev новости: Zed редактор, Nuemark, Expo и Bun Shell
Dev новости: Zed редактор, Nuemark, Expo и Bun Shell

Zen code стал open source, инструменты для фронта Nue добавили редактор контента, релиз Expo 50

Рассказываем об обновлениях Firefox 119
Рассказываем об обновлениях Firefox 119
Рассказываем об обновлениях Firefox 119

В октябре вышли обновления Firefox 119. Также сформировали обновление ветки с длительным сроком поддержки — 115.4.0.

Дайджест веб-новостей за октябрь
Дайджест веб-новостей за октябрь
Дайджест веб-новостей за октябрь

Самое интересное, что произошло в мире веб в октябре.