Home
» Wiki
»
Microsoft anunță un nou instrument pentru a detecta și corecta conținutul halucinant în ieșirea AI
Microsoft anunță un nou instrument pentru a detecta și corecta conținutul halucinant în ieșirea AI
Azure AI Content Safety este serviciul AI Microsoft care ajută la detectarea conținutului dăunător generat de AI în aplicații, servicii și platforme. Acest utilitar oferă atât API-uri pentru text, cât și pentru imagini, permițând dezvoltatorilor să identifice conținutul nedorit.
API-ul Groundedness din Azure AI Content Safety este capabil să identifice dacă răspunsul de la un model de limbă mare se bazează pe un document sursă selectat de utilizator. Deoarece modelele actuale de limbaj mari pot produce informații inexacte sau false (informații iluzorii), acest API ajută dezvoltatorii să identifice un astfel de conținut în datele de ieșire ale AI.
Astăzi, Microsoft a anunțat o previzualizare a remedierii. Ca rezultat, dezvoltatorii pot acum detecta și corecta conținutul „iluzoriu” din datele de ieșire AI în timp real, asigurându-se ca utilizatorii finali să primească întotdeauna conținut generat de AI exact exact. Această caracteristică funcționează după cum urmează:
Dezvoltatorul de aplicații permite capabilități de editare.
Când sunt detectate date nefondate, o nouă solicitare este trimisă modelului AI pentru a corecta eroarea.
Algoritmul LLM va evalua scorul general pe baza documentelor autorizate.
Propozițiile care nu sunt relevante pentru documentul de bază, autentificat, pot fi filtrate în întregime.
Dacă conținutul este derivat dintr-un document de bază, modelul de bază va rescrie propoziția nefundamentată pentru a se potrivi cu documentul.
Pe lângă funcția de editare, Microsoft a anunțat și o previzualizare publică a Hybrid Azure AI Content Safety (AACS). Această caracteristică permite dezvoltatorilor să implementeze mecanisme de securitate a conținutului în cloud și pe dispozitiv. SDK-ul încorporat al AACS permite verificări de securitate a conținutului în timp real direct pe dispozitiv, chiar și fără o conexiune la internet.
În cele din urmă, Microsoft a anunțat o previzualizare a Protected Materials Detection for Code care poate fi utilizată cu aplicații AI care generează cod pentru a detecta dacă LLM generează vreun cod protejat. Această funcție era disponibilă anterior numai prin serviciul Azure OpenAI. Microsoft pune acum la dispoziția clienților detectarea materialelor protejate pentru cod pentru a le utiliza împreună cu alte modele AI care generează cod.