Может ли мини-ПК запускать LLM локально?
Да. Мини-ПК Thinvent может локально запускать большую языковую модель (LLM) для инференса, то есть отвечать на запросы на собственном оборудовании, не отправляя данные в облачный сервис. Локальным LLM нужно достаточно системной памяти для хранения весов модели, процессор, способный обрабатывать предварительную обработку и токенизацию, и быстрое хранилище для загрузки моделей. Запуск моделей локально даёт разработчикам больше приватности, более быстрые итерации и полный контроль над средой.
Ключевые требования к оборудованию для локальных LLM
LLM содержат миллиарды параметров и опираются на крупные матричные операции. Для плавного инференса важнее всего следующие факторы:
-
Память: веса модели должны помещаться в оперативную память. Системы с 16 ГБ и более дают больше места для квантованных моделей.
-
Процессор: больше ядер и более высокие тактовые частоты улучшают токенизацию, обработку данных и многозадачность. Для этой задачи распространены процессоры Intel Core i5 и i7, а также AMD Ryzen 5 и Ryzen 7.
-
Накопитель: SSD достаточной ёмкости хранит файлы моделей. Модели Thinvent предлагают SSD от 256 ГБ до 512 ГБ.
Мини-ПК Thinvent этого ряда используют инференс на основе ЦП. В линейке Thinvent нет отдельного графического процессора, поэтому размеры моделей, которые могут запускать эти системы, определяются процессором и системной памятью.
Сравнение мини-ПК Thinvent
| Model | Processor | Cores | Max Frequency | Memory | Storage |
|---|---|---|---|---|---|
| Aero Mini PC (i5-1335U) | Intel Core i5-1335U | 10 | 4.6 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (Core 5 120U) | Intel Core 5 120U | 10 | 5.0 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (i7-1255U) | Intel Core i7-1255U | 10 | 4.7 GHz | 16 GB DDR4 | 256 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 16 GB DDR4 | 512 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 8 GB DDR4 | 256 GB SSD |
| Aero Mini PC (i3-1215U) | Intel Core i3-1215U | 6 | 4.4 GHz | 8 GB DDR4 | 256 GB SSD |
Какая модель Thinvent подходит для локальных LLM
Для максимального объёма памяти выберите модель с 16 ГБ и SSD на 512 ГБ, например мини-ПК Thinvent Aero с Intel Core 5 120U или Intel Core i5-1335U, либо мини-ПК Thinvent Treo с AMD Ryzen 5 7430U. Для более лёгких нагрузок и небольших квантованных моделей подойдут мини-ПК Thinvent Aero на 8 ГБ с Intel Core i3-1215U или мини-ПК Thinvent Treo на 8 ГБ с AMD Ryzen 5 7430U. Thinvent Micro 6 Pro использует процессор ARM Cortex A55 с 4 ГБ встроенной оперативной памяти и подходит для встраиваемых и лёгких задач.
Мини-ПК Thinvent для локальных LLM
У Thinvent есть мини-ПК с процессорами Intel Core и AMD Ryzen для локального инференса LLM. Линейка Aero Mini PC использует процессоры Intel Core от i3 до i7 с оперативной памятью DDR4 до 16 ГБ и SSD-накопителем до 512 ГБ. Линейка Treo Mini PC использует процессоры AMD Ryzen 5 7430U и Intel N5095A. Все модели этого ряда поддерживают локальные нагрузки ИИ, работающие на ЦП.
