Új kihívások az OpenAI legfrissebb AI modelljeivel
Az OpenAI nemrégiben bemutatott o3 és o4-mini mesterséges intelligencia modelljei sok szempontból a legmodernebb technológiát képviselik. Azonban, ahogy a tapasztalatok mutatják, ezek az új modellek hajlamosak arra, hogy **”hallucináljanak”**, vagyis olyan információkat szolgáltassanak, amelyek nem igazak. Érdekes módon, a legújabb verziók a korábbi modellekhez képest még gyakrabban okoznak ilyen problémát.
A hallucinációk problémája
A mesterséges intelligencia hallucinációi komoly kihívást jelentenek, amelyek a mai legkorszerűbb rendszereket is érintik. A történelem során minden új modell egy lépést tett a hallucinációk csökkentése felé, azonban az o3 és o4-mini esetében ez nem tűnik így. Az OpenAI belső vizsgálatai szerint ezen új modellek, amelyek **érvelési modelleknek** számítanak, gyakoribb tévedéseket produkálnak, mint korábbi elődeik, mint például az o1 és o3-mini.
Miért járulnak hozzá a hallucinációk a problémákhoz?
Az OpenAI szakértői nem biztosak abban, hogy miért nőtt meg a hallucinációk aránya a feljavított érvelési modellek esetén. A technikai jelentésükben hangsúlyozzák, hogy **további kutatásokra van szükség** ahhoz, hogy jobban megértsék a problémát. Az o3 és o4-mini modellek egyes feladatokban, például kódolási és matematikai feladatokban jobban teljesítenek, ugyanakkor több bizonytalanságot is generálnak a válaszaikban. Példa erre, hogy az o3 a PersonQA nevű teszt során a kérdések 33%-ára adott hibás válaszokat, ami a korábbi modellek duplája.
Harmadik fél általi vizsgálatok
A Transluce, egy független AI kutató labor, további bizonyítékokat talált arra, hogy az o3 hajlamos lehet **megalapozatlan állításokat** tenni, például azt állította, hogy kódot futtatott egy 2021-es MacBook Pro-n a ChatGPT-n kívül. Emellett előfordult, hogy az o3 hasznos linkeket ajánlott, amelyek valójában nem működtek, ami még inkább kérdéseket vet fel az elérhetőségével kapcsolatban.
Lehetséges megoldások
Az AI modellek pontosságának növelésére egyik ígéretes megoldás a webes keresési lehetőségek beépítése. Például az OpenAI GPT-4o modellje, amely web keresési funkcióval rendelkezik, 90%-os pontosságot ért el a SimpleQA teszten, egy másik OpenAI irányelv szerint. A kutatók remélik, hogy a keresés javíthatja az érvelési modellek hallucinációs arányait, feltéve, hogy a felhasználók hajlandók megosztani az adataikat egy külső kereső szolgáltatóval.
Összegzés
A mesterséges intelligencia fejlődésével és az érvelési modellek térnyerésével a hallucinációk problémája egyre sürgetőbbé válik. Az OpenAI folyamatosan dolgozik a modellek pontosságának és megbízhatóságának javításán. Ahogy a mesterséges intelligencia ipara egyre inkább az érvelési modellek irányába mozdul, úgy a hallucinációk csökkentése kulcsfontosságú feladattá válik a technológia jövője számára.
