चार्ट और तालिकाओं से ज्ञान पुनर्प्राप्ति में सटीकता को दोगुना करना

रागास से मूल्यांकन मेट्रिक्स

आज के डेटा-प्रेरित परिदृश्य में, वित्तीय सेवाओं जैसी उद्योगों को दस्तावेज़ों से सटीक और प्रभावी जानकारी निकालने पर बहुत निर्भर रहना पड़ता है, विशेष रूप से उन दस्तावेज़ों में जो असंरचित पाठ और तालिकाओं और चार्टों जैसी संरचित डेटा दोनों को शामिल करते हैं। पारंपरिक ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) मॉडल, हालांकि व्यापक रूप से उपयोग किए जाते हैं, जटिल दस्तावेज़ प्रारूपों को संभालने में अक्सर कमज़ोर साबित होते हैं, जिसके परिणामस्वरूप उन्नत एआई अनुप्रयोगों में उप-इष्टतम प्रदर्शन होता है। इस अंतर को पहचानते हुए, CambioML और Epsilla ने एक अत्याधुनिक ज्ञान पुनर्प्राप्ति प्रणाली पेश की है जो डेटा निष्कर्षण कार्यों में सटीकता और पुनः प्राप्ति को महत्वपूर्ण रूप से बढ़ाने का वादा करती है।

परिचय: OCR की सीमाओं को पार करना

OCR-आधारित मॉडल, जबकि पाठ का पता लगाने में प्रभावी होते हैं, लेआउट जानकारी निकालने और तालिकाओं और चार्टों से डेटा को सटीक रूप से खींचने में संघर्ष करते हैं। ये सीमाएँ विशेष रूप से उन उद्योगों में स्पष्ट होती हैं जहाँ सटीकता सर्वोपरि होती है, जैसे कि वित्त और स्वास्थ्य देखभाल। इन चुनौतियों को संबोधित करने के लिए, CambioML और Epsilla ने एक नवीन दृष्टिकोण विकसित किया है जो अत्याधुनिक तालिका निष्कर्षण मॉडलों को पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) तकनीकों के साथ एकीकृत करता है। यह नया प्रणाली पारंपरिक RAG प्रणालियों की तुलना में 2x सटीकता और 2.5x पुनः प्राप्ति प्राप्त करती है, दस्तावेज़ प्रश्न उत्तर देने के लिए एक नया मानक स्थापित करती है।

AnyParser: तालिका निष्कर्षण में क्रांति

इस सफलता के केंद्र में AnyParser है, एक मॉडल जो उन्नत दृश्य भाषा मॉडलों (VLMs) द्वारा संचालित है और विविध डेटा स्रोतों से जानकारी निकालने में उत्कृष्टता प्राप्त करता है। पारंपरिक मॉडलों के विपरीत जो OCR पर बहुत अधिक निर्भर करते हैं, AnyParser दृश्य और पाठ-आधारित एन्कोडरों के संयोजन का उपयोग करता है ताकि दस्तावेज़ों से सबसे छोटे विवरणों को भी कैप्चर किया जा सके, यह सुनिश्चित करते हुए कि कोई महत्वपूर्ण डेटा छूट न जाए। यह दृष्टिकोण वित्तीय और चिकित्सा दस्तावेज़ों से उच्च-रिज़ॉल्यूशन डेटा निकालने में विशेष रूप से फायदेमंद है, जहाँ सटीकता महत्वपूर्ण होती है।

Epsilla: एक लचीला RAG प्लेटफ़ॉर्म

AnyParser का पूरक Epsilla है, एक नो-कोड RAG-as-a-Service प्लेटफ़ॉर्म जो विभिन्न RAG पाइपलाइनों को अनुकूलित करने के लिए डिज़ाइन किया गया है। Epsilla उन्नत चंकिंग, अनुक्रमण, और क्वेरी सुधार तकनीकों के माध्यम से ज्ञान पुनर्प्राप्ति प्रक्रिया को बढ़ाता है। कीवर्ड-आधारित और अर्थपूर्ण खोज विधियों को एकीकृत करके, Epsilla अत्यधिक सटीक और संदर्भ में प्रासंगिक परिणाम प्रदान करता है, जिससे यह बड़े भाषा मॉडल (LLM) अनुप्रयोगों के लिए एक आदर्श समाधान बनता है।

प्रयोग और मूल्यांकन: वास्तविक दुनिया में प्रभाव

रागास से मूल्यांकन मेट्रिक्स

AnyParser और Epsilla की प्रभावशीलता को मान्य करने के लिए, प्रणाली का परीक्षण Apple और Meta जैसी कंपनियों के 10-K वित्तीय दस्तावेज़ों पर किया गया। परिणाम प्रभावशाली थे, प्रणाली ने सभी प्रमुख मूल्यांकन मेट्रिक्स, जिसमें संदर्भ सटीकता, पुनः प्राप्ति, विश्वासयोग्यता, और उत्तर की सटीकता शामिल हैं, में काफी उच्च प्रदर्शन दिखाया। कुछ मामलों में, प्रणाली ने पारंपरिक RAG प्रणालियों की तुलना में 2.7x तक बेहतर प्रदर्शन किया, जो जटिल डेटा निष्कर्षण कार्यों को संभालने में इसकी श्रेष्ठता को उजागर करता है।

सामान्य उपयोग के मामले और प्रमुख लाभ

• सटीकता: संरचित और असंरचित डेटा को उपयोगी प्रारूपों में परिवर्तित करने में उच्च सटीकता।

• गोपनीयता: ग्राहक के डेटा केंद्र के भीतर प्रणाली को तैनात करने की क्षमता पूर्ण डेटा सुरक्षा सुनिश्चित करती है।

• स्केलेबिलिटी: दस्तावेज़ों की बड़ी मात्रा को तेजी से संसाधित करना, तेजी से निर्णय लेने की अनुमति देता है।

निष्कर्ष: ज्ञान पुनर्प्राप्ति में एक नया युग

AnyParser और Epsilla का परिचय ज्ञान पुनर्प्राप्ति प्रौद्योगिकी में एक महत्वपूर्ण प्रगति का प्रतीक है। उन्नत निष्कर्षण मॉडलों को एक मजबूत RAG अवसंरचना के साथ मिलाकर, यह एकीकृत समाधान न केवल सटीकता और दक्षता में सुधार करता है बल्कि आधुनिक उद्यमों की मांगों के अनुसार लचीलापन और गोपनीयता भी प्रदान करता है। जैसे-जैसे प्रौद्योगिकी विकसित होती है, इस प्रणाली के अनुप्रयोग और लाभ विशाल और आशाजनक हैं, जो उन उद्योगों के लिए एक गेम-चेंजर बनाते हैं जो सटीक डेटा निष्कर्षण पर निर्भर करते हैं।

पूर्ण विस्तृत श्वेतपत्र के लिए, कृपया इस लिंक की जांच करें।