भाषांतर रांग: बॅच प्रोसेसिंग प्रणाली

हा लेख स्पष्ट करतो की आम्ही AI API वापर अनुकूल करण्यासाठी भाषांतरे कशी रांगेत लावतो आणि बॅच-प्रोसेस करतो.

समस्या: मागणीनुसार भाषांतर महाग आहे

मागणीनुसार सामग्रीचे भाषांतर करण्यात अडचणी आहेत:

• मंद: प्रत्येक भाषांतरास 1-2 सेकंद लागतात

• महाग: प्रति विनंती API खर्च

• अनावश्यक: समान मजकूर अनेक वेळा भाषांतरित

• अवरोधक: वापरकर्ता भाषांतरासाठी प्रतीक्षा करतो

आम्हाला एक चांगला दृष्टिकोन हवा आहे.

उपाय: रांग आणि बॅच

रांग: भाषांतर विनंत्या गोळा करा

बॅच: एकत्र अनेक भाषांतरे प्रक्रिया करा

कॅशे: पुनर्वापरासाठी निकाल साठवा

वेळापत्रक: रांग नियतकालिक प्रक्रिया करा (रीअल-टाइम नाही)

रांग रचना

रांग फाइल

स्थान: डिस्कवरील JSON फाइल

स्वरूप: भाषांतर विनंत्यांची यादी

फील्ड:

• text: भाषांतरित करण्यासाठी इंग्रजी मजकूर

• target_lang: भाषा कोड (hi, de, fr, इ.)

• context: मजकूर कुठे दिसतो (उत्पादन, क्वेरी, लेख)

• priority: उच्च/सामान्य/कमी

रांगेत जोडणे

जेव्हा भाषांतर गहाळ असते:

queue_translation(text, target_lang, context="product")

डिडुप्लिकेशन: आधीच रांगेत आहे का ते तपासा

वैधता: अवैध मूल्ये नाकारा

बॅच प्रोसेसिंग

स्क्रिप्ट

स्थान: scripts/web/process_translation_queue.py

वेळापत्रक: दर 6 तासांनी cron द्वारे चालते

लॉक फाइल: एकाचवेळी चालणे प्रतिबंधित करते

प्रक्रिया प्रवाह

1. रांग लोड करा: सर्व प्रलंबित विनंत्या वाचा

2. भाषेनुसार गटबद्ध करा: समान-भाषेच्या विनंत्या बॅच करा

3. डिडुप्लिकेट करा: बॅचमधील डुप्लिकेट काढा

4. कॅशे तपासा: आधीच भाषांतरित मजकूर वगळा

5. बॅच भाषांतरित करा: DeepSeek API ला पाठवा

6. निकाल पार्स करा: प्रतिसादातून भाषांतरे काढा

7. कॅशेमध्ये जतन करा: वाक्यांश सारण्यांमध्ये साठवा

8. रांग साफ करा: प्रक्रिया केलेल्या विनंत्या काढा

बॅच भाषांतर

API कॉल

मॉडेल: DeepSeek-V3 (Together.ai द्वारे)

सिस्टम प्रॉम्प्ट: कॅशे केलेले (भाषेतील सर्व बॅचसाठी समान)

वापरकर्ता प्रॉम्प्ट: चल (बॅच-विशिष्ट)

स्वरूप: क्रमांकित यादी

उदाहरण:

Translate these 10 texts:
1. Mini PC
2. Thin Client
3. Compact Desktop
...

प्रतिसाद:

1. मिनी पीसी
2. थिन क्लाइंट
3. कॉम्पैक्ट डेस्कटॉप
...

पार्सिंग

ओळ क्रमांकानुसार भाषांतरे काढा:

• क्रमांक उपसर्ग काढा (1., 2., इ.)

• स्थानानुसार मूळ मजकूराशी जुळवा

• संख्या जुळते का ते सत्यापित करा

त्रुटी हाताळणी

API अयशस्वी: फॉलबॅक API सह पुन्हा प्रयत्न करा

पार्स अयशस्वी: मूळ मजकूर परत करा

अर्धवट यश: यशस्वी भाषांतरे जतन करा, अयशस्वी पुन्हा रांगेत टाका

कॅशिंग धोरण

वाक्यांश सारण्या

स्थान: प्रति भाषा JSON फाइल्स

स्वरूप: {"English": "Translation"}

लोडिंग: स्टार्टअपवर एकदा लोड केले

फायदा: जलद लुकअप, API कॉल नाहीत

कॅशे हिट दर

पहिली चाल: कमी (सर्व नवीन)

नंतरच्या चाली: उच्च (बहुतेक मजकूर कॅशे केलेला)

फायदा: कमी API खर्च

जतन नियम

भाषांतरादरम्यान, आम्ही जतन करतो:

ब्रँड नावे: Thinvent®, Intel®, AMD®

HTML टॅग: <p>, <br>, <strong>

URLs: https://www.thinvent.in

SKUs: Treo-N100-8-256

संख्या: 8GB, 256GB, 4 cores

अंमलबजावणी: सिस्टम प्रॉम्प्टमधील Regex पॅटर्न

भाषा ओळख

भाषांतर करण्यापूर्वी, आधीच भाषांतरित आहे का ते तपासा:

पद्धत: वर्णसंच विश्लेषण

हिंदी: देवनागरी लिपी

चिनी: CJK वर्ण

अरबी: अरबी लिपी

फायदा: अनावश्यक भाषांतरे वगळा

प्राधान्य हाताळणी

उच्च प्राधान्य: उत्पादन नावे, वैशिष्ट्ये (आधी प्रक्रिया)

सामान्य प्राधान्य: वर्णने, लेख (दुसरे प्रक्रिया)

कमी प्राधान्य: जुनी सामग्री, क्वचित पाहिलेली (शेवटी प्रक्रिया)

फायदा: महत्त्वाची सामग्री आधी भाषांतरित

वेळापत्रक

Cron जॉब

वारंवारता: दर 6 तासांनी

कमांड: python3 scripts/web/process_translation_queue.py

लॉक फाइल: /tmp/process_translation_queue.lock

फायदा: स्वयंचलित प्रक्रिया, मॅन्युअल हस्तक्षेप नाही

साप्ताहिक कार्ये

लेख: दर आठवड्याला नवीन लेख भाषांतरित करा

Babel स्ट्रिंग्स: दर आठवड्याला टेम्पलेट भाषांतरे अपडेट करा

स्क्रिप्ट: scripts/web/translate_articles_weekly.sh

देखरेख

रांग आकार

प्रलंबित विनंत्या ट्रॅक करा:

• एकूण विनंत्या

• प्रति भाषा विनंत्या

• सर्वात जुन्या विनंतीचे वय

सूचना: रांग खूप मोठी झाल्यास

भाषांतर आकडेवारी

प्रक्रिया ट्रॅक करा:

• प्रति बॅच भाषांतरे

• API यश दर

• कॅशे हिट दर

• प्रक्रिया वेळ

खर्च ट्रॅकिंग

API वापर निरीक्षण करा:

• प्रति दिवस विनंत्या

• प्रति विनंती टोकन

• प्रति भाषा खर्च

संदर्भ

संबंधित लेख

• भाषांतर प्रणाली - तीन-तंत्रज्ञान हायब्रिड

• सामग्री AI निर्मिती - DeepSeek एकत्रीकरण

• भाषा ओळख - वापरकर्ता भाषा प्राधान्य

सारांश

भाषांतर रांग कार्यक्षम बॅच प्रोसेसिंग सक्षम करते:

रांग:

• भाषांतर विनंत्या गोळा करा

• बॅचमध्ये डिडुप्लिकेट करा

• प्राधान्य हाताळणी

• वैधता आणि फिल्टरिंग

बॅच प्रोसेसिंग:

• भाषेनुसार गटबद्ध करा

• DeepSeek API ला पाठवा

• क्रमांकित प्रतिसाद पार्स करा

• वाक्यांश सारण्यांमध्ये जतन करा

कॅशिंग:

• भाषांतर करण्यापूर्वी कॅशे तपासा

• उच्च कॅशे हिट दर

• कमी API खर्च

वेळापत्रक:

• दर 6 तासांनी cron द्वारे

• लॉक फाइल एकाचवेळी चालणे प्रतिबंधित करते

• साप्ताहिक लेख भाषांतरे

जतन:

• ब्रँड नावे

• HTML टॅग

• URLs आणि SKUs

हा दृष्टिकोन बॅचिंग आणि कॅशिंगद्वारे API खर्च कमी करतो आणि भाषांतर गुणवत्ता सुधारतो.

---

← दस्तऐवजीकरण अनुक्रमणिकेकडे परत