Запустили llm.js — библиотеку для запуска больших языковых моделей в браузере

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Библиотека поддерживает разные популярные решения, в том числе llama-cpp (GGUF/GGML); LLaMa 2; Dolly v2; GPT2; GPT J; GPT NEO X; MPT; Replit; StarCoder.

Для тестов доступна песочница и несколько тестовых проектов. Отмечается, что скорость генерации ниже, чем в других больших библотеках.

Предполагается, что добавят новые модели и форматы. llm.js можно применять в собственных веб-приложениях. На сайте есть вся необходимая информация для ее подключения.

Недавно мы писали, что API Compression Streams сжимает и распаковывает потоки данных. Он использует форматы gzip или deflate (или deflate-raw). Благодаря API размер приложения не увеличивается: библиотека сжатия больше не нужна.