RAG: jak naučit AI odpovídat z vašich firemních dokumentů

Princip: nejdřív hledat, potom psát

Představte si nového kolegu, který na každou otázku nejdřív otevře firemní složku, najde správný dokument a teprve pak odpoví. Přesně tak RAG funguje:

1. Vyhledání: systém v podkladech najde pasáže, které se týkají dotazu.
2. Doplnění: tyto pasáže předá jazykovému modelu spolu s otázkou.
3. Odpověď: model odpoví z nalezeného textu a uvede, odkud čerpal.

Postup popsali výzkumníci v roce 2020 a dnes ho nabízejí velcí poskytovatelé cloudu. Podle AWS je RAG levnější cesta, jak modelu dát nové informace, než ho znovu trénovat.

Proč je RAG pro firmy důležitý

• Méně vymýšlení. Model odpovídá z vašich dat, ne „z hlavy“, takže klesá riziko halucinací.
• Aktuálnost. Změníte ceník a po aktualizaci podkladů agent odpovídá podle nového. Model se nepřeučuje.
• Dohledatelnost. U odpovědi je vidět zdrojový dokument, takže kontrola je rychlá.
• Kontrola přístupu. Agent vidí jen dokumenty, ke kterým mu přístup dáte.

Příklady využití

• Advokátní kancelář: hledání ve spisech a vzorech smluv.
• Obec: odpovědi občanům podle schválených informací o poplatcích a formulářích.
• E-shop: odpovědi na dotazy k produktům a obchodním podmínkám.
• Výrobní firma: dohledání postupu v technické dokumentaci.

Pro první vyzkoušení nad několika dokumenty stačí i hotové nástroje, třeba Gemini Notebook. Další scénáře najdete na stránce AI agenti na míru.

Jak začít

1. Vyberte jednu oblast s častými dotazy, například obchodní podmínky nebo interní směrnice.
2. Sesbírejte k ní aktuální dokumenty na jedno místo.
3. Sepište deset až dvacet skutečných otázek, které lidé kladou.
4. Vyzkoušejte, jestli AI odpovídá správně a ukazuje zdroj.
5. Teprve pak přidávejte další oblasti.

Testovací otázky si schovejte. Když později změníte podklady nebo model, stačí je projít znovu a hned uvidíte, jestli se kvalita odpovědí nezhoršila. Tak máte jednoduchou a opakovatelnou kontrolu bez složitých nástrojů. U odpovědí, které jdou přímo zákazníkům, se vyplatí na začátku kontrolovat každou. Až budete mít jistotu, můžete přejít na namátkové kontroly.

Na co si dát pozor

RAG je tak dobrý, jak dobré jsou podklady. Pokud máte tři verze ceníku a dvě si odporují, AI to nevyřeší za vás. Před nasazením se proto vyplatí:

1. podklady projít a vyřadit staré verze,
2. sjednotit, co platí,
3. určit, kdo je bude udržovat aktuální.

Druhá věc jsou osobní a citlivé údaje. Do podkladů patří jen to, co agent opravdu potřebuje. Smlouvy s rodnými čísly nebo mzdové podklady do běžného firemního vyhledávání nepatří. Pokud je agent potřebuje, oddělte je a omezte, kdo se na ně může ptát. Více v článcích AI a GDPR a Jak bezpečně používat AI ve firmě.

Zdroje: AWS: What is Retrieval-Augmented Generation (RAG)? · Lewis a kol.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)

Napsal Pavel Šafařík, Co-Founder & Tech Master ve wefree.