Запустили llm.js — библиотеку для запуска больших языковых моделей в браузере

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Библиотека поддерживает разные популярные решения, в том числе llama-cpp (GGUF/GGML); LLaMa 2; Dolly v2; GPT2; GPT J; GPT NEO X; MPT; Replit; StarCoder.

Для тестов доступна песочница и несколько тестовых проектов. Отмечается, что скорость генерации ниже, чем в других больших библотеках.

Предполагается, что добавят новые модели и форматы. llm.js можно применять в собственных веб-приложениях. На сайте есть вся необходимая информация для ее подключения.

Недавно мы писали, что API Compression Streams сжимает и распаковывает потоки данных. Он использует форматы gzip или deflate (или deflate-raw). Благодаря API размер приложения не увеличивается: библиотека сжатия больше не нужна.

Читайте также
Что значат стабильные версии браузеров Firefox 122, Chrome 121 и Safari 17.3 в феврале 2024
Что значат стабильные версии браузеров Firefox 122, Chrome 121 и Safari 17.3 в феврале 2024
Что значат стабильные версии браузеров Firefox 122, Chrome 121 и Safari 17.3 в феврале 2024

Рассказываем о некоторых интересных функциях, которые появились в стабильных и бета-версиях веб-браузеров в январе 2024 года.

Что нового в Chrome 123
Что нового в Chrome 123
Что нового в Chrome 123

С помощью новой функции light-dark() можно адаптировать свою цветовую схему; диагностика отзывчивости сайта с помощью API Long Animation Frames; с помощью API статической маршрутизации Service Worker можно избегайте снижения производительности при запуске Service Worker

Deno 1.40: будущий Temporal API и декораторы JavaScript
Deno 1.40: будущий Temporal API и декораторы JavaScript
Deno 1.40: будущий Temporal API и декораторы JavaScript

В Deno 1.40 реализовали предстоящий Temporal API JavaScript для расширенных операций с датой и временем, а также новейшее предложение декораторов JavaScript для мета- и аспектно-ориентированного программирования.

Dev новости: Node.js 23 и Rust 1.82 — свежие релизы
Dev новости: Node.js 23 и Rust 1.82 — свежие релизы
Dev новости: Node.js 23 и Rust 1.82 — свежие релизы

На этой неделе для разработчиков вышло сразу несколько интересных обновлений. В среду команда Node.js объявила о выходе версии Node.js 23, а уже в четверг свет увидела версия Rust 1.82. Давайте взглянем, что нового в этих релизах и какие возможности они открывают.