#055 ML Илья Гусев. Как запускать большие языковые модели локально

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!<br /><p><br /></p><p>Ссылки выпуска:</p><p><br /></p><p>Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (<a href="https://habr.com/ru/articles/759386/">https://habr.com/ru/articles/759386/</a>)</p><p>Сервис для запуска больших языковых моделей локально - lmstudio (<a href="https://lmstudio.ai/">https://lmstudio.ai/</a>)</p><p>Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (<a href="https://github.com/oobabooga/text-generation-webui">https://github.com/oobabooga/text-generation-webui</a>)</p><p>Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (<a href="https://github.com/huggingface/text-generation-inference">https://github.com/huggingface/text-generation-inference</a>)</p><p>Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (<a href="https://arxiv.org/abs/2307.01850">https://arxiv.org/abs/2307.01850</a>)</p><p>Пост Ильи со списком материалов для погружения в NLP (<a href="https://t.me/natural_language_processing/81627">https://t.me/natural_language_processing/81627</a>)</p><p><br /></p><p>Буду благодарен за обратную связь!</p><p><br /></p><p>Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!<br /></p><p>MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)<br /></p><p>Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)<br /></p><p><br /></p><p>Мой телеграм для связи (https://t.me/kmsint)<br /></p><p>Также со мной можно связаться по электронной почте: [email protected]<br /></p><p><br /></p><p>Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!<br /></p><p>И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (<a href="https://stepik.org/a/153850?utm_source=mlpodcast&amp;utm_campaign=ep_55">https://stepik.org/a/153850?utm_source=mlpodcast&amp;utm_campaign=ep_55</a>)</p><p><br /></p><p>Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)</p>