மினி PC-யில் LLM-ஐ உள்ளூரில் இயக்க முடியுமா?
ஆம். Thinvent மினி PC பெரிய மொழி மாதிரியை (LLM) inference-க்காக உள்ளூரில் இயக்க முடியும். அதாவது, எந்த கிளவுட் சேவைக்கும் தரவை அனுப்பாமல் உங்கள் சொந்த வன்பொருளிலேயே prompt-களுக்கு பதில் அளிக்க முடியும். உள்ளூர் LLM-க்கு மாதிரி எடைகளை (weights) வைத்திருக்க போதுமான சிஸ்டம் நினைவகம், preprocessing மற்றும் tokenization ஆகியவற்றை கையாளக்கூடிய திறமையான செயலி, மற்றும் மாதிரிகளை ஏற்ற வேகமான சேமிப்பகம் தேவை. மாதிரிகளை உள்ளூரில் இயக்குவதால் டெவலப்பர்களுக்கு அதிக தனியுரிமை, வேகமான மறுசெய்கை மற்றும் சூழல் மீது முழு கட்டுப்பாடு கிடைக்கும்.
உள்ளூர் LLM-க்கான முக்கிய வன்பொருள் தேவைகள்
LLM-களில் பில்லியன் கணக்கான parameters உள்ளன, அவை பெரிய matrix செயல்பாடுகளை சார்ந்திருக்கின்றன. சுமூகமான inference-க்கு மிக முக்கியமான காரணிகள்:
-
நினைவகம்: மாதிரி எடைகள் RAM-ல் பொருந்த வேண்டும். 16 GB அல்லது அதற்கு மேல் உள்ள சிஸ்டம்கள் quantized மாதிரிகளுக்கு அதிக இடம் தருகின்றன.
-
செயலி: அதிக core எண்ணிக்கையும் clock வேகமும் tokenization, தரவு கையாளுதல் மற்றும் multitasking-ஐ மேம்படுத்தும். இந்த வேலைக்கு Intel Core i5, i7 மற்றும் AMD Ryzen 5, Ryzen 7 செயலிகள் பொதுவான தேர்வுகள்.
-
சேமிப்பகம்: மாதிரி கோப்புகளை வைத்திருக்கும் அளவுக்கு போதுமான கொள்ளளவு கொண்ட SSD. Thinvent மாதிரிகள் 256 GB முதல் 512 GB வரையிலான SSD-களை வழங்குகின்றன.
இந்த வரம்பில் உள்ள Thinvent மினி PC-கள் CPU அடிப்படையிலான inference-ஐ பயன்படுத்துகின்றன. Thinvent வரிசையில் தனி GPU சேர்க்கப்படவில்லை, எனவே இந்த சிஸ்டம்கள் இயக்கக்கூடிய மாதிரி அளவுகளை செயலியும் சிஸ்டம் நினைவகமும்தான் தீர்மானிக்கின்றன.
Thinvent மினி PC ஒப்பீடு
| Model | Processor | Cores | Max Frequency | Memory | Storage |
|---|---|---|---|---|---|
| Aero Mini PC (i5-1335U) | Intel Core i5-1335U | 10 | 4.6 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (Core 5 120U) | Intel Core 5 120U | 10 | 5.0 GHz | 16 GB DDR4 | 512 GB SSD |
| Aero Mini PC (i7-1255U) | Intel Core i7-1255U | 10 | 4.7 GHz | 16 GB DDR4 | 256 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 16 GB DDR4 | 512 GB SSD |
| Treo Mini PC (Ryzen 5 7430U) | AMD Ryzen 5 7430U | 6 | 4.3 GHz | 8 GB DDR4 | 256 GB SSD |
| Aero Mini PC (i3-1215U) | Intel Core i3-1215U | 6 | 4.4 GHz | 8 GB DDR4 | 256 GB SSD |
உள்ளூர் LLM வேலைக்கு எந்த Thinvent மாதிரி பொருந்தும்
அதிக நினைவகத்திற்கு, 512 GB SSD கொண்ட 16 GB மாதிரியைத் தேர்ந்தெடுங்கள். உதாரணமாக, Intel Core 5 120U அல்லது Intel Core i5-1335U கொண்ட Thinvent Aero Mini PC, அல்லது AMD Ryzen 5 7430U கொண்ட Thinvent Treo Mini PC. இலகுவான வேலைகளுக்கும் சிறிய quantized மாதிரிகளுக்கும், Intel Core i3-1215U கொண்ட 8 GB Thinvent Aero Mini PC அல்லது AMD Ryzen 5 7430U கொண்ட 8 GB Thinvent Treo Mini PC பொருத்தமானவை. Thinvent Micro 6 Pro-வில் 4 GB onboard RAM உடன் ARM Cortex A55 செயலி உள்ளது, இது embedded மற்றும் இலகுவான பணிகளுக்கு ஏற்றது.
உள்ளூர் LLM-க்கான Thinvent மினி PC-கள்
உள்ளூர் LLM inference-க்கு Intel Core மற்றும் AMD Ryzen செயலிகள் கொண்ட மினி PC-களை Thinvent கொண்டுள்ளது. Aero Mini PC வரிசையில் i3 முதல் i7 வரையிலான Intel Core செயலிகள் உள்ளன, 16 GB வரை DDR4 RAM மற்றும் 512 GB வரை SSD சேமிப்பகம் உள்ளது. Treo Mini PC வரிசையில் AMD Ryzen 5 7430U மற்றும் Intel N5095A செயலிகள் உள்ளன. இந்த வரம்பில் உள்ள அனைத்து மாதிரிகளும் CPU-வில் இயங்கும் உள்ளூர் AI பணிச்சுமைகளை ஆதரிக்கின்றன.
