অনুবাদ সারি: ব্যাচ প্রসেসিং সিস্টেম

এই নিবন্ধটি ব্যাখ্যা করে কীভাবে আমরা অনুবাদ সারিবদ্ধ এবং ব্যাচ-প্রসেস করি AI API ব্যবহার অপ্টিমাইজ করতে।

সমস্যা: চাহিদা-ভিত্তিক অনুবাদ ব্যয়বহুল

চাহিদা-ভিত্তিক অনুবাদে সমস্যা আছে:

• ধীর: প্রতিটি অনুবাদে ১-২ সেকেন্ড লাগে

• ব্যয়বহুল: প্রতি অনুরোধে API খরচ

• অপ্রয়োজনীয়: একই টেক্সট একাধিকবার অনুবাদ হয়

• ব্লকিং: ব্যবহারকারী অনুবাদের জন্য অপেক্ষা করে

আমাদের একটি ভালো পদ্ধতি প্রয়োজন।

সমাধান: সারি এবং ব্যাচ

সারি: অনুবাদ অনুরোধ সংগ্রহ করুন

ব্যাচ: একসাথে একাধিক অনুবাদ প্রসেস করুন

ক্যাশ: পুনর্ব্যবহারের জন্য ফলাফল সংরক্ষণ করুন

সময়সূচি: পর্যায়ক্রমে সারি প্রসেস করুন (রিয়েল-টাইম নয়)

সারি কাঠামো

সারি ফাইল

অবস্থান: ডিস্কে JSON ফাইল

ফরম্যাট: অনুবাদ অনুরোধের অ্যারে

ফিল্ড:

• text: অনুবাদ করার ইংরেজি টেক্সট

• target_lang: ভাষা কোড (hi, de, fr, ইত্যাদি)

• context: টেক্সট কোথায় দেখা যায় (product, query, article)

• priority: High/normal/low

সারিতে যোগ করা

যখন একটি অনুবাদ অনুপস্থিত:

queue_translation(text, target_lang, context="product")

ডিডুপ্লিকেশন: ইতিমধ্যে সারিবদ্ধ কিনা পরীক্ষা করুন

ভ্যালিডেশন: অবৈধ মান প্রত্যাখ্যান করুন

ব্যাচ প্রসেসিং

স্ক্রিপ্ট

অবস্থান: scripts/web/process_translation_queue.py

সময়সূচি: ক্রন-এর মাধ্যমে প্রতি ৬ ঘন্টায় চলে

লক ফাইল: সমকালীন রান প্রতিরোধ করে

প্রসেস ফ্লো

১. সারি লোড করুন: সমস্ত অপেক্ষমাণ অনুরোধ পড়ুন

২. ভাষা অনুযায়ী গ্রুপ করুন: একই ভাষার অনুরোধ ব্যাচ করুন

৩. ডিডুপ্লিকেট করুন: ব্যাচের মধ্যে ডুপ্লিকেট সরান

৪. ক্যাশ পরীক্ষা করুন: ইতিমধ্যে অনূদিত টেক্সট এড়িয়ে যান

৫. ব্যাচ অনুবাদ করুন: DeepSeek API-তে পাঠান

৬. ফলাফল পার্স করুন: প্রতিক্রিয়া থেকে অনুবাদ বের করুন

৭. ক্যাশে সংরক্ষণ করুন: ফ্রেজ টেবিলে সংরক্ষণ করুন

৮. সারি মুছুন: প্রসেস করা অনুরোধ সরান

ব্যাচ অনুবাদ

API কল

মডেল: DeepSeek-V3 (Together.ai-এর মাধ্যমে)

সিস্টেম প্রম্পট: ক্যাশ করা (ভাষার সমস্ত ব্যাচের জন্য একই)

ইউজার প্রম্পট: পরিবর্তনশীল (ব্যাচ-নির্দিষ্ট)

ফরম্যাট: সংখ্যায়িত তালিকা

উদাহরণ:

Translate these 10 texts:
1. Mini PC
2. Thin Client
3. Compact Desktop
...

প্রতিক্রিয়া:

1. मिनी पीसी
2. थिन क्लाइंट
3. कॉम्पैक्ट डेस्कटॉप
...

পার্সিং

লাইন নম্বর দ্বারা অনুবাদ বের করুন:

• নম্বর প্রিফিক্স সরান (1., 2., ইত্যাদি)

• অবস্থান অনুযায়ী মূল টেক্সটের সাথে মিলান

• গণনা মেলে কিনা যাচাই করুন

ত্রুটি পরিচালনা

API ব্যর্থতা: ফলব্যাক API দিয়ে পুনরায় চেষ্টা করুন

পার্স ব্যর্থতা: মূল টেক্সট ফেরত দিন

আংশিক সাফল্য: সফল অনুবাদ সংরক্ষণ করুন, ব্যর্থগুলি পুনরায় সারিবদ্ধ করুন

ক্যাশিং কৌশল

ফ্রেজ টেবিল

অবস্থান: প্রতি ভাষায় JSON ফাইল

ফরম্যাট: {"English": "Translation"}

লোডিং: শুরুতে একবার লোড হয়

সুবিধা: দ্রুত লুকআপ, কোনো API কল নেই

ক্যাশ হিট রেট

প্রথম রান: কম (সবকিছু নতুন)

পরবর্তী রান: উচ্চ (বেশিরভাগ টেক্সট ক্যাশ করা)

সুবিধা: API খরচ হ্রাস

সংরক্ষণ নিয়ম

অনুবাদের সময়, আমরা সংরক্ষণ করি:

ব্র্যান্ড নাম: Thinvent®, Intel®, AMD®

HTML ট্যাগ: <p>, <br>, <strong>

URL: https://www.thinvent.in

SKU: Treo-N100-8-256

সংখ্যা: 8GB, 256GB, 4 cores

বাস্তবায়ন: সিস্টেম প্রম্পটে রেজেক্স প্যাটার্ন

ভাষা সনাক্তকরণ

অনুবাদের আগে, ইতিমধ্যে অনূদিত কিনা পরীক্ষা করুন:

পদ্ধতি: অক্ষর সেট বিশ্লেষণ

হিন্দি: দেবনাগরী লিপি

চীনা: CJK অক্ষর

আরবি: আরবি লিপি

সুবিধা: অপ্রয়োজনীয় অনুবাদ এড়িয়ে যান

অগ্রাধিকার পরিচালনা

উচ্চ অগ্রাধিকার: পণ্যের নাম, বৈশিষ্ট্য (প্রথমে প্রসেস)

সাধারণ অগ্রাধিকার: বিবরণ, নিবন্ধ (দ্বিতীয়ে প্রসেস)

নিম্ন অগ্রাধিকার: পুরানো কন্টেন্ট, বিরল দেখা (শেষে প্রসেস)

সুবিধা: গুরুত্বপূর্ণ কন্টেন্ট প্রথমে অনূদিত

সময়সূচি

ক্রন জব

ফ্রিকোয়েন্সি: প্রতি ৬ ঘন্টায়

কমান্ড: python3 scripts/web/process_translation_queue.py

লক ফাইল: /tmp/process_translation_queue.lock

সুবিধা: স্বয়ংক্রিয় প্রসেসিং, কোনো ম্যানুয়াল হস্তক্ষেপ নেই

সাপ্তাহিক কাজ

নিবন্ধ: সাপ্তাহিক নতুন নিবন্ধ অনুবাদ করুন

Babel স্ট্রিং: সাপ্তাহিক টেমপ্লেট অনুবাদ আপডেট করুন

স্ক্রিপ্ট: scripts/web/translate_articles_weekly.sh

মনিটরিং

সারির আকার

অপেক্ষমাণ অনুরোধ ট্র্যাক করুন:

• মোট অনুরোধ

• প্রতি ভাষায় অনুরোধ

• সবচেয়ে পুরানো অনুরোধের বয়স

সতর্কতা: যদি সারি খুব বড় হয়ে যায়

অনুবাদ পরিসংখ্যান

প্রসেসিং ট্র্যাক করুন:

• প্রতি ব্যাচে অনুবাদ

• API সাফল্যের হার

• ক্যাশ হিট রেট

• প্রসেসিং সময়

খরচ ট্র্যাকিং

API ব্যবহার মনিটর করুন:

• প্রতিদিন অনুরোধ

• প্রতি অনুরোধে টোকেন

• প্রতি ভাষায় খরচ

রেফারেন্স

সম্পর্কিত নিবন্ধ

• Translation System - Three-technology hybrid

• Content AI Generation - DeepSeek integration

• Language Detection - User language preference

সারসংক্ষেপ

অনুবাদ সারি দক্ষ ব্যাচ প্রসেসিং সক্ষম করে:

সারি:

• অনুবাদ অনুরোধ সংগ্রহ করুন

• ব্যাচের মধ্যে ডিডুপ্লিকেট করুন

• অগ্রাধিকার পরিচালনা

• ভ্যালিডেশন এবং ফিল্টারিং

ব্যাচ প্রসেসিং:

• ভাষা অনুযায়ী গ্রুপ করুন

• DeepSeek API-তে পাঠান

• সংখ্যায়িত প্রতিক্রিয়া পার্স করুন

• ফ্রেজ টেবিলে সংরক্ষণ করুন

ক্যাশিং:

• অনুবাদের আগে ক্যাশ পরীক্ষা করুন

• উচ্চ ক্যাশ হিট রেট

• API খরচ হ্রাস

সময়সূচি:

• ক্রন-এর মাধ্যমে প্রতি ৬ ঘন্টায়

• লক ফাইল সমকালীন রান প্রতিরোধ করে

• সাপ্তাহিক নিবন্ধ অনুবাদ

সংরক্ষণ:

• ব্র্যান্ড নাম

• HTML ট্যাগ

• URL এবং SKU

এই পদ্ধতি ব্যাচিং এবং ক্যাশিংয়ের মাধ্যমে API খরচ হ্রাস করে এবং অনুবাদের গুণমান উন্নত করে।

---

← ডকুমেন্টেশন সূচিতে ফিরে যান