
Awtonom LLM Agentleri: Meýilleşdiriş Aýlawlary, Gural Interfeýsleri we Ýalňyşlyklary Düzetmek
Gysgaça Mazmuny (Annotasiýa)
Esasy Maglumat: Uly dil modelleri (LLM) ýeke-täk soraglara takyk jogap berýärler, ýöne olary köp ädimli programma inženerçiligi meselelerinde awtonom agent hökmünde ulananyňda, kontekstiň ýitirilmegi, ýygnanýan ýalňyşlyklar we gözegçiliksiz meýilleşdiriş aýlawlary sebäpli şowsuzlyk derejesi ýokarlanýar.
Mesele Goýluşy: 10-dan 50-ä çenli yzygiderli hereketi talap edýän işlerde adaty modeller çylşyrymly ýalňyşlyklaryň ýygnanmagyndan ejir çekýär (). Bu ýagdaýda 90% ädim takyklygy 25 ädimlik işlerde 92.8% şowsuzlyk derejesine getirýär.
Usulyýet: Biz awtonom agentleriň karar bermek mehanizmlerini Pikirlenme-Hereket (ReAct) aýlawlary, sözli öz-özüňi seljerme ýady (Reflexion) we ýöriteleşdirilen Agent-Kompýuter Interfeýsi (ACI) arkaly düşündirýäris. Pydantic V2 shemalaryny, wagt çäklendirmeli gural iberijilerini we epizodik seljerme buferini ulanyp, Python 3.12+ üçin ygtybarly asinhron agent ýerine ýetirijisini gurýarys.
Netijeler: Ylmy synaglar sözli öz-özüňi seljermäniň HumanEval boýunça kod ýazmak takyklygyny (pass@1) 80.1%-den 91.0%-e ýetirýändigini, gurluşly ACI buýruklarynyň bolsa SWE-bench Lite barlagynda hakyky GitHub ýalňyşlyklaryny düzetmekde adaty bash terminalyna garanyňda 64% otnositel ösüş berýändigini (GPT-4 Turbo bilen 11.0%-den 18.0%-e) görkezýär.
Açar Sözler: awtonom agentler, ReAct aýlawlary, Reflexion, gurallary ibermek, ýygnanýan ýalňyşlyk kanuny, agent-kompýuter interfeýsi, Python 3.12.
1. Giriş we Esasy Bökdençlik
Uly dil modeli (LLM) 50 000 setirli kody bolan taslamada ýalňyşlygy tapmak, faýllary düzetmek, synaglary işletmek we üýtgeşmeleri tassyklamak ýaly awtonom programma inženeri hökmünde ulanylanda, derrew üç esasy bökdençlige duçar bolýar:
- Doňdurylan Ýat we Elsizlik: Modeliň agramlary () okuw tamamlanandan soň doňdurylýar. Model daşky gural interfeýsleri bolmasa täze faýllary görüp, maglumat bazalaryna sorag iberip ýa-da terminal buýruklaryny ýerine ýetirip bilmeýär (Schick et al., 2023).
- Köp Ädimli Ýalňyşlyklaryň Garpazy (Ýygnanýan Ýalňyşlyklar): Köp ädimli işlerde 2-nji ädimde goýberilen kiçijik ýalňyşlyk göni 3-nji ädime geçýär. Barlag we ýalňyşlygy düzetmek mehanizmleri bolmasa, uzyn işi üstünlikli tamamlamak ähtimallygy nola ýakynlaşýar (Huyen, 2025).
- Meýilleşdiriş bilen Ýerine Ýetirişi Garyşdyrmak: Modelden umumy meýilnamany düzmegi, gural parametrlerini formatlamagy we buýruklary ýerine ýetirmegi bir gezekde talap etmek, onuň ýok parametrleri oýlap tapmagyna ýa-da gaýtalanýan aýlawlara düşmegine sebäp bolýar.
flowchart TB
subgraph SyyasatGatlagy ["1. Esasy Model Syýasat Gatlagy"]
LLM["Syýasat Modeli (Doňdurylan Agramlar θ)"]
end
subgraph KognitiwDaslyk ["2. Kognitiw Çarçuwa Gurşawy"]
direction TB
Guard["Niýet we Çäk Goragçysy"]
Registry["Gural Sanawy we Shema Barlagçysy"]
Sandboxed["Çäklendirilen Asinhron Iberiji"]
Memory[("Sözli Seljerme Ýat Buferi M")]
Guard -->|"Barlanan Niýet"| Registry
Registry -->|"Tiplenen Argumentler"| Sandboxed
Sandboxed -->|"Ýalňyşlyk Derňewi"| Memory
end
subgraph Gurshaw ["3. Daşky Operasion Gurşaw"]
direction TB
POSIX["Linux Faýl Ulgamy we OS"]
APIs["REST API-ler we Bulut Hyzmatlary"]
DB[("Maglumat Binasy we Ýat")]
end
LLM -->|"Hereket Teklibi a_t"| Guard
Memory -.->|"Epizodik Seljermeler"| LLM
Sandboxed <-->|"Okamak we Ýazmak Penjiresi"| POSIX
Sandboxed <-->|"HTTP Iberiş"| APIs
Sandboxed <-->|"Sorag we Tassyklama"| DB
1.1 Esasy Üçlük:
Statik modeli awtonom agente öwürmek üçin biz ony üç bölekden ybarat hasaplaýyş gurşawyna ýerleşdirýäris (Huyen, 2025):
- Gurşaw (): Agentiň işleýän sanly dünýäsi (meselem, Linux faýl ulgamy, kod taslamasy ýa-da bulut API-si).
- Gural Sanawy (): Agentiň işledip bilýän anyk funksiýalarynyň toplumy. Her guralynyň anyk giriş shemasy bar (meselem,
file_path: str,limit: int) we ol gurluşly gözegçilik maglumatyny gaytarýar. - Syýasat Modeli (): Häzirki gözegçilikleri seljerip, indiki haýsy guraly çagyrmalydygyny kesgitleýän esasy modeli.
1.2 Ýönekeý Mental Model: “Uçarman we Dolandyryş Paneli (Kokpit)”
- LLM — kokpitde oturan uçarmandyr.
- Gural Sanawy — dolandyryş panelindäki düwmeler, petleler we enjamlar toplumydyr.
- Gurşaw — uçaryň özi we asmandyr.
- Uçarman işjeň dolandyryş enjamlary bolmasa uçup bilmez, şeýle hem hereketlendirijiniň duýduryş çyralaryna üns bermeýän awtopilot tiz wagtdan heläkçilige uçrar.
2. Köpbasgançakly Çylşyrymly Ýalňyşlyk Kanuny
Näme üçin awtonom agentler 2 ädimli ýönekeý işlerde gowy işleýärler, ýöne 20 ädimli işlerde bütinleý şowsuzlyga uçraýarlar?
2.1 Ýalňyşlyk Garpazynyň Matematiki Esasy
Geliň, agente sany aýratyn ädimden ybarat bolan çylşyrymly programmirleme meselesi berildi diýip göz öňüne getireliň:
Bu ýerde — ädiminde saýlanan hereket, bolsa gurşawyň gaýtaran gözegçilik maglumatydyr. Goý, parametri ädiminiň işi bozmajak ýalňyşlyksyz, üstünlikli ýerine ýetirilme ähtimallygyny aňlatsyn.
Bütin işiň doly üstünlik bilen tamamlanmagynyň umumy ähtimallygy ähli ädimleriň ähtimallyklarynyň köpeltmek hasylyna deňdir:
Eger biz ortaça ädim ygtybarlylygyny hökmünde hasaplasak, işiň üstünlikli tamamlanmagynyň ýokarky çägi şeýle bolýar:
Geliň, işiň uzynlygy () ulaldygyça üstünlik ähtimallygynyň nähili üýtgeýändigini göreliň:
| Ortaça Ädim Ygtybarlylygy () | 5 Ädim () | 10 Ädim () | 25 Ädim () | 50 Ädim () | Tejribedäki Manysy |
|---|---|---|---|---|---|
| (Tipli ACI + Barlagçylar) | Uzyn, köp ädimli inženerçilik işleri üçin ygtybarly | ||||
| (Adaty ReAct Promptlary) | Gysga işler üçin ýaramly; çylşyrymly işlerde şowsuz | ||||
| (Gönümel Funksiýa Çagyryşy) | 25 ädimlik işde şowsuzlyk derejesi | ||||
| (Çäklendirilmedik Promptlar) | Köp ädimli işler üçin düýbünden ýarawsyz |
2.2 Esasy Binagärlik Netijeleri
- Modeliň Göwrümi Ýeterlik Däl: 90% ädim takyklygynda işleýän agentiň 25 ädimlik işi tamamlamak mümkinçiligi 8%-den hem pesdir. Modeli biraz uly ululyga geçirmek bu eksponensial gaçyşy özbaşdak çözüp bilmeýär.
- Kognitiw Çarçuwalar Ýalňyşlyklary Nollap Bilýär: Çuňňur işlerde () ygtybarly netijä ýetmek üçin ulgama deterministik shema barlagy, sintaksis barlagly (linter) redaktorlar we ýalňyşlygy tutup, ädim ygtybarlylygyny täzeden 100%-e golaýladýan sözli seljerme buferleri gerekdir.
3. Esasy Agent Aýlawlary we Kognitiw Çarçuwalar
Agenti köp ädimli maksatlarda dogry ýolda saklamak üçin barlagçylar üç esasy kognitiw gurluşy döretdiler: ReAct, Reflexion we Agajy Gözlemek / Öňünden Çaklamak (Tree Search / Lookahead).
3.1 ReAct: Hereketden Öň Pikirlenmek (Yao et al., 2022)
ReAct-dan öň modeller iki sany aýry usulda ulanylýardy:
- Diňe Pikirlenmek (Chain-of-Thought): Model diňe öz-özi bilen gürleşýär. Daşky gurallara ýüz tutup bilmeýändigi sebäpli maglumatlary ýoňsuz oýlap tapýar we pikirlerini barlap bilmeýär.
- Diňe Hereket Etmek (Göni Gural Çagyrmak): Model pikirlerini ýazmazdan, gös-göni gurallary çagyrýar. Ol köplenç konteksti ýitirýär, şol bir soraglary gaýtalaýar we goşmaça maksatlara dogry bölünip bilmeýär.
ReAct Pikirlenmegi we Hereket Etmegi yzygiderli utgaşdyrýar: Pikir -> Hereket -> Gözegçilik.
flowchart TD
State["Häzirki Kontekst Ýagdaýy s_t"] --> Thought["1. Pikir Döret r_t (Meýilnama / Seljerme)"]
Thought --> Action["2. Hereket Döret a_t (Gural we Argument Saýla)"]
Action --> Execute["3. Guraly Gurşawda Ýerine Ýetir"]
Execute --> Observation["4. Gözegçilik Maglumatyny Al o_t"]
Observation --> UpdateState["Taryha (Pikir, Hereket, Gözegçilik) Goş"]
UpdateState --> State
Derňewçi Analogiýasy
Jenaýaty derňeýän derňewçini göz öňüne getiriň:
- Pikir: “Şübheli adamyň duşenbe güni Seattledadygyny barlamaly.”
- Hereket: Seattledaky myhmanhananyň hasaba alyş sanawyny barla.
- Gözegçilik: Sanawda şübheli adamyň sagat 14:00-da gelendigi görünýär.
- Pikir: “Indi şol gün irdenki uçar gatnawlarynyň sanawyny barlamaly.”
- Hereket: Uçuş maglumatlar bazasyna sorag iber.
Näme üçin bu işleýär: Ýazylan pikir gözleg soragyny ugrukdyrýar, hakyky gurşawdan gelen gözegçilik bolsa modeliň ýalan delilleri oýlap tapmagynyň öňüni alýar. HotpotQA barlagynda ReAct ýalňyş maglumat döretmek şowsuzlygyny 56%-den 0%-e çenli azaltdy we takyklygy 35.1%-e çykardy; köp ädimli ALFWorld barlagynda bolsa diňe herekete esaslanýan usula garanyňda işi tamamlamak görkezijisini 45.0%-den 71.0%-e göterdi (Yao et al., 2022).
3.2 Reflexion: Kontekstdäki Öz-özüňi Düzetmek (Shinn et al., 2023)
Agent bir işde şowsuzlyga uçranda (meselem, ýazylan kod synagdan geçmedik wagty), adaty maşyn okuwy çemeleşmesi Güýçlendirilen Okuw (RL) bolup, ol milliardlarça agramy gradient arkaly täzelemegi talap edýär. Emma agramlary göni wagtda täzelemek gaty haýal, gymmat we modeliň umumy bilimlerini ýitirmegine sebäp bolup biler.
Reflexion agram täzelemelerini Sözli Öz-özüňi Seljerme bilen çalşyrýar:
flowchart TD
Trial["Synanyşyk k: Iş Ýoluny Ýerine Ýetir"] --> Evaluator{"Baha Beriji Barlagy (Synaglar)"}
Evaluator -->|"Geçdi (Baha = 1.0)"| Success["Tamamlanan Işi Gaýtar"]
Evaluator -->|"Şowsuz (Baha < 1.0)"| Reflection["Seljerme Barlagçysy (Şowsuzlygy Derňe)"]
Reflection --> MemoryBuffer["Derňewi Ýat Buferine Ýaz M"]
MemoryBuffer --> NextTrial["Synanyşyk k+1 Başlat (Ýat Bellikleri Bilen)"]
NextTrial --> Trial
Talyp we Okuw Gündeligi Analogiýasy
Programmirleme synagyna taýýarlanýan talyby göz öňüne getiriň:
- Talyp funksiýa ýazyp,
IndexError: list index out of rangeýalňyşlygyny alanda, beýnisiniň neýronlaryna hirurgiki operasiýa etmek gerek däl. - Ol öz okuw depderine ýönekeý bellik ýazýar: “Ýatda sakla: Python sanawlary 0-dan başlanýar. Indiki synanyşykda aýlawy 0 indeksinden başlat.”
- Indiki synanyşykda talyp depderindäki belligi okaýar we derrew dogry kody ýazýar.
Reflexion usulynda model agramlary doňdurylgy galýar (). Baha beriji modul netijäni barlaýar. Eger synaglar şowsuz bolsa, seljerme modeli anyk derňewi () döredýär we ony ýat buferine ýazýar ().
HumanEval Python barlagynda bu ýönekeý öz-özüňi seljerme aýlawy GPT-4-iň Pass@1 takyklygyny 80.1%-den 91.0%-e çenli ýokarlandyrdy (Shinn et al., 2023).
3.3 Strategik Öňdebaryjy Gözleg we Yza Gaýtmak: RAP & MCTS (Hao et al., 2023)
Adaty LLM çagyryşlary hereketleri çepden saga birugurly (greedy) döredýär. Eger 1-nji ädimde ýalňyş ýol saýlansa, model şol ýolda dykylyp galýar we yza gaýdyp bilmeýär.
Dil Modeli bilen Meýilleşdiriş we Dünýä Modeli (RAP) muny LLM-i iki rolda ulanmak arkaly çözýär:
- Hereket Syýasaty: Indiki ädim üçin mümkin bolan hereket teklip edýär.
- Dünýä Modeli: Geljekki ýagdaýlary simulirleýär we ädimiň geljeginiň bardygyny ýa-da onuň dyngylyga alyp barýandygyny bahalandyrýar.
Küşt Grossmeýsteri Analogiýasy
- Täze öwreniji küştçi amatly görünen ilkinji göçümi göçýär we köplenç duzaga düşýär (Birugurly döretme).
- Grossmeýster bolsa beýnisinde öňünden hasaplaýar: “Eger men aty bärä göçsem, garşydaşym pilini ol ýere geçirýär we meniň wezirim gabalýar. Gowusy, men pyýada bilen göçüşi barlap göreýin.” (Öňünden çaklamak we yza gaýtmak).
Dünýä modeliniň simulýasiýasy bilen Monte-Karlo Agajy Gözlegini (MCTS) ulanmak arkaly, RAP 6 ädimli blok meýilleşdirişinde birugurly CoT-yň pes netijesini (2.0% – 6.0%) LLaMA-2 70B modelinde 74.0%-den gowrak üstünlige çykarmagy başardy (Hao et al., 2023).
4. Emeli Aň üçin Interfeýsleri Taslamak: Agent-Kompýuter Interfeýsi (ACI)
Ilkinji gezek programma ýazýan agentler gurlan döwründe, olar adaty Linux bash terminalyna (cat, grep, sed, vim) gönümel baglandy. Emma adaty terminal gurallary dil modelleri üçin däl-de, ynsanyň gözleri we barmaklary üçin niýetlenendir (Yang et al., 2024).
4.1 “Ynsan Ulanyjy Interfeýsi we AI Interfeýsi” Deňeşdirmesi
| Amaly Iş | Adaty Ynsan Terminal Guraly (LLM üçin Şowsuz) | Agent-Kompýuter Interfeýsi (ACI) Guraly (LLM üçin Ýöriteleşdirilen) | Näme üçin ACI Utuş Gazanýar |
|---|---|---|---|
| Faýl Okamak | cat -n file.py (5 000 setiri kontekste dökýär) | view_file_window(path, offset=1, limit=100) | Kontekst penjiresiniň dolmagynyň öňüni alýar; token harjyny azaldýar |
| Kod Düzetmek | sed -i 's/foo/bar/g' (Regex belgilerinde döwülýär) | replace_exact_text(path, target_str, new_str) | Ýeke-täk anyk teksti talap edýär; sintaksis bozulmalaryny nollaýar |
| Simwol Gözlemek | grep -rn "def process" (Uly göwrümli log dökýär) | find_symbol_ast(symbol_name, file_filter) | Setir belgileriniň we funksiýa gurluşlarynyň gysga sanawyny berýär |
| Ýalňyşlyk Jogaby | Dymyp duran şowsuzlyk: exit code 1 | {"status": "error", "hint": "target_str not found on line 42"} | Modeliň özüni düzetmegi üçin anyk diagnostik maslahat berýär |
4.2 ACI-nyň 3 Esasy Inženerçilik Düzgüni
- Penjireli Serediş Mehanizmi: Faýl okaýjylar hiç wagt çäksiz teksti dökmelemeli däldir. Olar anyk setir belgileri bilen her gezekde 50–100 setir maglumat gaýtarmalydyr (
1 | def calculate_loss():). - Çalyşmak üçin Anyk Tekst Gözlegi: Köp setirli faýl redaktorlary üýtgetme girizmezden öň faýlda diňe şol bir sany gaýtalanmaýan teksti tapmalydyr. Eger tekst ýeke-täk bolmasa ýa-da tapylmasa, gural howpsuz saklanýar we agente duýduryş berýär.
- Linter Arkaly Derrew Anyklama: Agent faýly üýtgeden badyna, gural derrew sintaksis barlagyny (linter) işletmelidir. Eger üýtgetme sintaksis ýalňyşlygyny döretse, gural synaglar işletilmezden öň ýalňyşlyk habaryny göni agente gaýtarýar.
SWE-bench Lite barlagynda adaty bash terminalyndan (11.0%) gurluşly ACI gurallaryna (18.0%) geçmek, GPT-4 Turbo ulanylanda meseleleri çözmegi 64% otnositel derejede ýokarlandyrdy (Yang et al., 2024).
4.3 Göni Resminama RAG (Gorilla, Patil et al., 2023)
Adaty modeller çylşyrymly maşyn okuwy we bulut kitaphanalarynda API nokatlaryny we parametrlerini 36%-den 78%-e çenli ýagdaýlarda ýoňsuz oýlap tapýarlar, sebäbi model öwredilip doňdurylandan soň kitaphanalaryň funksiýa gurluşlary üýtgeýär.
Gorilla barlagy gözleg bilen goldanýan okuwyň (RAFT)—modelleri gözleg moduly bilen bilelikde täze API resminamalarynda kämilleşdirmegiň—API parametrlerini oýlap tapmak ýalňyşlygyny TorchHub-da 0.0%-e, TensorFlow Hub-da bolsa 2.4%-den aşak düşürýändigini, şol bir wagtda işjeň API takyklygyny 83.8%–94.2% çenli ýokarlandyrýandygyny subut etdi (Patil et al., 2023).
5. Ulgam Binagärligi: Meýilleşdirmegi, Barlamagy we Ýerine Ýetirmegi Biri-birinden Aýyrmak
Önümçilikdäki agent ulgamy meýilnama düzmegi, parametr barlagyny we buýruk ýerine ýetirişini bir uly promptda garyşdyrmaly däldir. Beýle garyşyk promptlar gural garaşylmadyk jogap beren badyna bütinleý döwülýär.
Onuň deregine, önümçilik ulgamy işi üç sany aýratyn tapgyra bölýär:
flowchart TD
UserQuery["Ulanyjy Iş Tabşyrygy"] --> ScopeGuard{"1. Niýet we Çäk Goragçysy"}
ScopeGuard -->|"Çäkden Daşary"| RejectSink["Çalt Howpsuz Ret Ediş"]
ScopeGuard -->|"Dogry Tabşyryk"| PlanGen["2. Meýilnama Dörediji (LLM Syýasaty)"]
PlanGen --> SchemaVal{"3. Deterministik Shema Barlagçysy"}
SchemaVal -->|"Shema Bozulmasy"| CorrectionHint["Ýalňyşlyk Duýduryşy"]
CorrectionHint --> PlanGen
SchemaVal -->|"Dogry Parametrler"| Dispatcher["4. Asinhron Çäklendirilen Iberiji"]
subgraph ToolInventory ["Çäklendirilen Gural Sanawy"]
T1["Penjireli Faýl Okaýjy (ACI)"]
T2["Anyk Faýl Redaktory"]
T3["Çäklendirilen Python / Pytest Ýerine Ýetiriji"]
T4["Göni Resminama RAG"]
end
Dispatcher --> T1
Dispatcher --> T2
Dispatcher --> T3
Dispatcher --> T4
T1 --> Evaluator{"5. Netijä Baha Beriji"}
T2 --> Evaluator
T3 --> Evaluator
T4 --> Evaluator
Evaluator -->|"Maksat Ýetildi (Synaglar Geçdi)"| FinalOutput["Ulanyja Gurluşly Jogap"]
Evaluator -->|"Maksat Ýetmedi / Ýalňyşlyk"| ReflexionMemory["Sözli Seljerme Ýat Buferi M"]
ReflexionMemory --> PlanGen
5.1 Aýrylan Işleýiş Tapgyrlary
- Niýet we Çäk Goragçysy: Çalt işleýän hewristik süzgüç ýa-da kiçi model gymmat meýilleşdiriş aýlawlaryny başlatmazdan öň, ulanyjynyň soragynyň howpsuzdygyny we ulgamyň ygtyýarlyklarynyň çägindedigini barlaýar.
- Deterministik Shema Barlagçysy: Buýruk ýerine ýetirilmezden öň, aralyk barlagçy (Pydantic V2 ýa-da JSON Schema ulanyp) teklip edilýän gural parametrlerini barlaýar. Eger model nädogry görnüş hödürlese (meselem,
offset: -5), barlagçy ýalňyşlygy saklaýar we hakyky ulgama degmezden öň düzediş duýduryşyny gaýtarýar. - Çäklendirilen Asinhron Iberiji: Tassyklanan çagyryşlary päsgel bermeýän I/O we berk wagt çäkleri (meselem,
asyncio.wait_for(timeout=10.0)) bilen izolirlenen işçilere iberýär. - Netijä Baha Beriji we Seljerme Ýady: Synaglaryň netijesini bahalandyrýar we indiki synanyşyk üçin şowsuzlyk derňewlerini epizodik ýat buferine ýazýar.
5.2 Gurallaryň Baglanyşygy we Gurallary Birleşdirmek (Tool Fusion)
Köp aýlawly agent işlerinde ownuk gurallary ýeke-ýekeden çagyrmak tor boýunça giriş-çykyş gijikmesini köpeldýär. Chameleon barlagyndaky gural geçiş graflarynyň derňewine salgylanyp (; Lu et al., 2023), ulgamlar ýerine ýetiriş loglaryny derňäp, biri-birine berk bagly gural yzygiderliklerini anyklap bilerler.
Loglar bir gural çagyryşynyň hemişe başga bir guraldan soň gelýändigini görkezende (meselem, kody üýtgeden badyna birlik synaglaryny işletmek ýa-da parametr ýalňyşlygyndan soň shema resminamasyny soramak), ulgam olary ýeke-täk bitewi buýruga birleşdirip biler (meselem, edit_and_test). Gurallary Birleşdirmek (Tool Fusion) diýlip atlandyrylýan bu usul model çagyryş aýlawyny azaldýar, token çykdajysyny tygşytlaýar we anyk barlagy saklap, gijikme wagtyny gysgaldýar.
6. Ýerine Ýetiriş Gurşawy we Asinhron Iberiş Akymy
Modeliň barlanmadyk tekliplerini gös-göni hakyky terminalda işletmegiň deregine, önümçilikdäki agent gurşawy meýilleşdirmegi, barlamagy, howpsuz ýerine ýetirişi we ýat derňewlerini asinhron turba arkaly utgaşdyrýar.
sequenceDiagram
autonumber
actor User as Ulanyjy / Müşderi
participant Guard as Niýet Goragçysy
participant Policy as LLM Syýasaty
participant Val as Shema Barlagçysy
participant Engine as Asinhron Iberiji
participant Tool as Çäklendirilen Gural
participant Mem as Seljerme Ýat Buferi
User->>Guard: Tabşyryk Soragyny Iber
Guard->>Policy: Barlanan Tabşyryk Niýeti
Note over Policy,Mem: Synanyşyk 1: Ýalňyş Ädim we Shema Tutulmagy
Policy->>Val: Hereket Teklibi (Ýalňyş Parametr: offset=-5)
Val-->>Mem: Düzgün Bozulmasyny Tut we Ýalňyşlygy Ýaz
Mem-->>Policy: Sözli Seljermäni Prompt Kontekstine Goş
Note over Policy,Mem: Synanyşyk 2: Öz-özüňi Düzetmek we Barlanan Ýerine Ýetiriş
Policy->>Val: Düzedilen Hereket Teklibi (Dogry Parametr: offset=1)
Val->>Engine: Tassyklanan Tipli Parametrler
Engine->>Tool: Päsgel Bermeýän Iberiş (10s Wagt Sagady Bilen)
Tool-->>Engine: Gözegçilik Jogaby (Gurluşly AST / Setirler)
Engine-->>Policy: Gözegçilik Maglumaty Syýasata Gowşuryldy
Policy->>User: Barlanan Ahyrky Çözgüt
6.1 4 Tapgyrly Işleýiş Sikli
- Niýet we Çäk Goragçysy: Gelýän soraglar deslapky klassifikatoryň barlagyndan geçýär. Eger sorag rugsat berilmedik çäklere degişli bolsa (meselem, rugsatsyz tor aragatnaşygy ýa-da çäkden daşary buýruklar), gymmat meýilleşdiriş aýlawlary başladylmazdan öň, ulgam howpsuz we nurbat çykdajysyz duýduryş bilen derrew duruzylýar.
- Işletmezden Öňki Shema Tutulmagy: Syýasat modeli gural çagyryşyny teklip eden wagty, aralyk barlagçy kod işletilmezden öň parametr tiplerini anyk shemalar (Pydantic modelleri ýa-da JSON Schema) arkaly barlaýar. Eger model ýok parametri oýlap tapsa ýa-da çäkden daşary bahalary berse (meselem,
offset: -5), barlagçy çagyryşy saklaýar we düşnükli diagnostik habar döredýär. - Çäklendirilen Asinhron Iberiş: Tassyklanan hereketler päsgel bermeýän asinhron I/O (
asyncio) arkaly aýratyn işçilerde ýerine ýetirilýär. Her bir daşky gural çagyryşy berk wagt çägi bilen goralýar (meselem, ). Eger daşky buýruk asylyp galsa, dykylyp dursa ýa-da ýykylsa, iberiji ýalňyşlygy tutýar, garaşylýan işi ýatyrýar we agent aýlawynyň doňup galmagynyň öňüni almak üçin tiplenenExecutionResultgaytarýar. - Epizodik Seljerme we Öz-özüňi Düzetmek: Bir ädim ýa-da synag toplumy şowsuz bolanda, netijä baha beriji gysga şowsuzlyk derňewini döredýär we ony epizodik ýat buferine goşýar (). Indiki synanyşykda bu derňew syýasat modeliniň prompt kontekstine girizilýär we bu agentiň agramlary üýtgetmezden () öz ýalňyşlyklaryny düzetmegine mümkinçilik berýär.
Önümçilik Barlaghana Hereketlendirijisi:
Pydantic V2 shemalaryny, asinhron wagt çäklendirijilerini, penjireli ACI gurallaryny we seljerme synag toplumyny öz içine alýan doly, önümçilik üçin taýyn Python 3.12+ nusgasy açyk çeşmeli ylmy taslama hökmünde elýeterlidir.
🔗 Repozitoriýa: github.com/kervendurdy/autonomous-agent-engine
7. Master Ylmy Barlag Deňeşdirme Matrisasy we Gijikme Häsiýetnamalary
Ylmy barlaglarda kognitiw çarçuwalar, gurluşly ACI gurallary we seljerme ýat buferleri utgaşdyrylanda, olar hemişe adaty esasy modellerden ep-esli ýokary netije berýär:
7.1 Barlag Matrisasy
| Ylmy Barlag | Maksat Edilýän Ugur | Esasy Deňeşdirme (Adaty Model) | Agent Binagärligi | Çarçuwa Bahasy | Netije Tapawudy | Esasy Mehanizm |
|---|---|---|---|---|---|---|
| ALFWorld | Köp Ädimli Öý Meýilleşdirişi | (Diňe Hereket Esasy) | ReAct (Yao et al., 2022) | Maksady yzarlamak we umumy manyly pikirlenmek | ||
| HotpotQA | Köp Ädimli Fakt Gözlegi | (Diňe Hereket Esasy) | ReAct (Yao et al., 2022) | Gözleg delili bilen ýalan maglumaty nollamak () | ||
| FEVER | Faktlary Barlamak | (PaLM-540B CoT) | ReAct (Yao et al., 2022) | Daşky Wikipedia gözleg barlag aýlawlary | ||
| HumanEval | Python Kod Döretmek (Pass@1) | (GPT-4 Adaty) | Reflexion (Shinn et al., 2023) | Synag şowsuzlygyny epizodik ýatda seljermek | ||
| ScienceQA | Multimodal Ylmy Sorag-Jogap | (Few-shot GPT-4 CoT) | Chameleon (Lu et al., 2023) | 13 gurully programma sintezi we OCR/Python iberişi | ||
| TabMWP | Tablisa Matematiki Meseleleri | (GPT-4 CoT) | Chameleon (Lu et al., 2023) | Dinamiki Python ýerine ýetirijisi + shema gözlegi | ||
| SWE-bench Lite | Hakyky GitHub Ýalňyşlyklaryny Düzetmek | (Diňe Bash GPT-4 Turbo) | SWE-agent + GPT-4 Turbo (Yang et al., 2024) | Penjireli ACI buýruklary + sintaksis barlagly redaktor | ||
| APIBench (HF) | 1 645 Maşyn Okuwy API-si | (Zero-Shot GPT-4) | Gorilla-7B (Patil et al., 2023) | Gözleg bilen kämilleşdiriş (RAFT) + göni shema resminamasy |
7.2 Reflexion Aýlawlaryndaky Bähbit-Ýitgi Gatnaşyklary we Çäkler
Sözli öz-özüňi seljerme işiň takyklygyny ep-esli ýokarlandyrýan hem bolsa (meselem, HumanEval boýunça GPT-4 Pass@1 görkezijisini -den -e çenli; Shinn et al., 2023), ol ýerine ýetiriş gijikmesinde we token sarp edilişinde anyk inženerçilik çäklendirmelerini döredýär:
- Ilkinji Synanyşyklardaky Esasy Ösüş: Kodlaşdyrma (HumanEval, MBPP) we karar bermek barlaglaryndaky (HotpotQA, ALFWorld) okuw egri çyzyklary iň uly takyklyk ösüşiniň birinji we ikinji seljerme synanyşyklarynda ýüze çykýandygyny görkezýär.
- Netijäniň Doýmagy we Gaýtalanma: Üçünji we dördünji synanyşyklara ýetilende netije durnuklaşýar. Üç synanyşykdan soň agentler köplenç täze çözgüt ýollaryny tapman, öňki seljermeleri gaýtalaýan aýlawa düşýärler.
- Kontekstiň Çişmegi we Gijikme Wagty: Her bir seljerme aýlawy öňki kod synanyşyklaryny, ýalňyşlyk yzlaryny we seljerme beýanlaryny prompt ýadyna goşýar. Bu promptdaky token göwrümini ulaldýar we modeliň umumy jogap bermek wagtyny birnäçe esse artdyrýar.
- Çykdajyny Dolandyrmak Çägi: Önümçilik binagärlikleri seljerme sanyna anyk çäk goýmalydyr () we synaglar şowsuz bolmagyny dowam etdirse, adamyň gözegçiligine ýa-da başga şahalanma strategiýalaryna geçmelidir.
8. Ýalňyşlyk Görnüşleriniň Klassifikasiýasy we Howpsuzlyk Goraglary
Agent ýalňyşlyklary ulgamlaýyn görnüşde üç esasy topara bölünýär (Huyen, 2025):
8.1 3 Bölekli Ýalňyşlyk Klassifikasiýasy
| Ýalňyşlyk Topary | Esasy Sebäp we Belkiler | Hakyky Durmuşdan Mysal | Inženerçilik Çözgüdi |
|---|---|---|---|
| 1. Meýilleşdiriş Ýalňyşlyklary | Ýok guraly oýlap tapmak, nädogry argumentler, çäkleri bozmak, wagtyndan öň tamamlamak | Model ýok bolan create_invoice() guralyny çagyrýar ýa-da offset=-5 iberýär | Berk Pydantic V2 barlagy; AST deslapky kompilýasiýasy; aýratyn meýilnama barlagçy düwüni |
| 2. Gural Ýerine Ýetiriş Ýalňyşlyklary | Tutulmadyk ýalňyşlyklar, tor arabaglanyşygynyň kesilmegi, gural çykyşlarynyň üýtgemegi | Bash buýrugy asylyp galýar ýa-da exit code 1 bilen ýykylyp, aýlawy doňdurýar | Berk asyncio.wait_for wagt sagatlary; tiplenen ýalňyşlyk örtükleri |
| 3. Kontekst we Token Çişmegi | Kontekst penjiresiniň dolmagy; “ortada ýitmek” (lost-in-the-middle) üns azalmagy | Prompta 10 000 setir log dökülmegi sebäpli modeliň esasy tabşyrygy ýatdan çykarmagy | Penjireli ACI faýl okaýjylary; aýlanýan gürrüňdeşlik gysgaltmasy; RAG süzgüçleri |
8.2 Okamak we Ýazmak Gurallarynyň Bölünmegi we Iki Tapgyrly Tassyklama
Önümçilik gurşawynda agentler barlag süzgüçleri bolmazdan hiç haçan çäklendirilmedik ýazmak ygtyýarlyklaryna eýe bolmaly däldir:
flowchart LR
AgentAction["Teklip Edilýän Agent Hereketi"] --> ActionClassifier{"Gytaklaýyn Täsir Klassifikatory"}
ActionClassifier -->|"Diňe Okamak Hereketi (view_file, search)"| DirectRun["Çäklendirilen Okamak Ýerine Ýetirişi"]
ActionClassifier -->|"Üýtgediji Hereket (write_file, delete, deploy)"| TwoPhaseGate["Iki Tapgyrly Tassyklama Derwezesi"]
TwoPhaseGate --> InvariantCheck{"Statiki Howpsuzlyk Barlagy"}
InvariantCheck -->|"Düzgün Bozuldy"| RejectAction["Ret Et we Modele Jogap Ber"]
InvariantCheck -->|"Düzgün Dogry"| HumanGate{"Ynsan Tassyklama Derwezesi"}
HumanGate -->|"Tassyklandy"| ExecuteMutate["Üýtgediji Buýrugy Ýerine Ýetir"]
HumanGate -->|"Ret Edildi"| AbortAction["Ýatyr we Audit Logyna Ýaz"]
Hökman Berjaý Edilmeli Howpsuzlyk Düzgünleri:
- Iki Tapgyrly Tassyklama: Ýumrujy ýa-da üýtgediji amallar (faýl ýazmak, maglumat bazasyny täzelemek, tor buýruklary) ahyrky ýerine ýetirişden öň
dry_rundeslapky synyny bermelidir. - Idempotentlik we Yza Gaýtarmak: Her bir gural yza gaýtaryş tokenlerini goldamalydyr ýa-da tranzaksiýa çäklerinde goralmalydyr.
- Berk Wagt Sagatlary: Daşky fonda işleýän prosesleriň agent aýlawyny doňdurmagynyň öňüni almak üçin her bir daşky gural çagyryşy asinhron wagt çägi bilen dolandyrylmalydyr (meselem, ).
9. Netije we Ylmy Çeşmeler
Bu ylmy barlag gollanmasy adaty esasy modelleriň köp ädimli işlerde goşmaça çarçuwasyz näme üçin şowsuz bolýandygyny düşündirýär we iş ädimleriniň uzalmagy bilen ýalňyşlyklaryň eksponensial köpelýändigini () matematik hem-de amaly taýdan subut edýär.
Meýilleşdirmegi shema barlagyndan aýyrmak, penjireli Agent-Kompýuter Interfeýslerini (ACI) ornaşdyrmak we kontekst içindäki sözli öz-özüňi seljerme ýadyny (Reflexion) ulanmak arkaly inženerçilik toparlary çylşyrymly pikirlenme we kodlaşdyrma barlaglarynda işiň çözüliş derejesini 90%-den ýokary göterip bilerler hem-de uzyn zynjyrly işleri ýygnanýan ýalňyşlyklardan gorap bilerler.
- Kod Taslamasy Repozitoriýasy: github.com/kervendurdy/autonomous-agent-engine
10. Salgylanmak Tertibi (APA 7 & BibTeX)
APA 7th Edition Salgylanma Formaty
Allaberdiyev, K. (2026). Awtonom LLM agentleri: Meýilleşdiriş aýlawlary, gural interfeýsleri we ýalňyşlyklary düzetmek. Kervendurdy Barlag Merkezi. https://kervendurdy.com/tk/blog/awtonom-llm-agentler
BibTeX Salgylanma Ýazgysy
@article{allaberdiyev2026awtonomagentler,
author = {Allaberdiyev, Kervendurdy},
title = {Awtonom LLM Agentleri: Meýilleşdiriş Aýlawlary, Gural Interfeýsleri we Ýalňyşlyklary Düzetmek},
journal = {kervendurdy.com},
year = {2026},
url = {https://kervendurdy.com/tk/blog/awtonom-llm-agentler}
}
11. Edebiýatlar we Çeşmeler (APA 7th Edition)
- Anthropic. (2024). Building effective agents [Technical report]. Anthropic Research. https://www.anthropic.com/research/building-effective-agents
- Hao, S., Gu, Y., Ma, H., Hong, J. J., Wang, Z., Wang, D. Z., & Hu, Z. (2023). Reasoning with language model is planning with world model. Advances in Neural Information Processing Systems (EMNLP 2023). https://doi.org/10.48550/arXiv.2305.14992
- Huyen, C. (2025). Agents [Engineering guide]. Huyen Chip Blog. https://huyenchip.com/2025/01/07/agents.html
- Lu, P., Peng, B., Cheng, H., Galley, M., Chang, K. W., Wu, Y. N., Zhu, S. C., & Gao, J. (2023). Chameleon: Plug-and-play compositional reasoning with large language models. Advances in Neural Information Processing Systems (NeurIPS 2023), 36, 45120–45142. https://doi.org/10.48550/arXiv.2304.09842
- Lu, P., Qiu, L., Chang, K. W., Wu, Y. N., Zhu, S. C., Rajpurohit, T., Clark, P., & Kalyan, A. (2022). Dynamic prompt learning via policy gradient for semi-structured mathematical reasoning. Advances in Neural Information Processing Systems (NeurIPS 2022), 35, 26413–26426. https://doi.org/10.48550/arXiv.2209.14610
- Patil, S. G., Zhang, T., Wang, X., & Gonzalez, J. E. (2023). Gorilla: Large language model connected with massive APIs. arXiv preprint arXiv:2305.15334. https://doi.org/10.48550/arXiv.2305.15334
- Schick, T., Dwivedi-Yu, J., Dessì, R., Raileanu, R., Lomeli, M., Zettlemoyer, L., Cancedda, N., & Scialom, T. (2023). Toolformer: Language models can teach themselves to use tools. Advances in Neural Information Processing Systems (NeurIPS 2023), 36, 68539–68551. https://doi.org/10.48550/arXiv.2302.04761
- Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems (NeurIPS 2023), 36, 8634–8652. https://doi.org/10.48550/arXiv.2303.11366
- Wang, G., Xie, Y., Jiang, Y., Mandlekar, A., Xiao, C., Zhu, Y., Fan, L., & Anandkumar, A. (2023). Voyager: An open-ended embodied agent with large language models. Advances in Neural Information Processing Systems (NeurIPS 2023). https://doi.org/10.48550/arXiv.2305.16291
- Weng, L. (2023). LLM powered autonomous agents [Technical review]. Lil’Log. https://lilianweng.github.io/posts/2023-06-23-agent/
- Yang, J., Jimenez, C. E., Wettig, A., Lieret, K., Yao, S., Narasimhan, K., & Press, O. (2024). SWE-agent: Agent-computer interfaces enable automated software engineering. Advances in Neural Information Processing Systems (NeurIPS 2024). https://doi.org/10.48550/arXiv.2405.15793
- Yang, Z., Qi, P., Zhang, S., Bengio, Y., Cohen, W. W., Salakhutdinov, R., & Manning, C. D. (2018). HotpotQA: A dataset for diverse, explainable multi-hop question answering. Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), 2369–2380. https://doi.org/10.48550/arXiv.1809.09600
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2022). ReAct: Synergizing reasoning and acting in language models. International Conference on Learning Representations (ICLR 2023). https://doi.org/10.48550/arXiv.2210.03629
Açyk Barlag we Awtorlyk Belligi
Bu platformadaky ähli makalalar we tehniki gollanmalar ulgam inženerçiligi hem-de emeli aň barlaglary boýunça öz düşunjelerini paýlaşmak isleýän bir şahs tarapyndan ýazylýar we gözden geçirilýär. Maglumatlaryň takyk bolmagy üçin ýokary tagalla edilse-de, käbir ýalňyşlyklar ýa-da gözden sypan maglumatlar bolup biler. Eger nätakyklyk ýa-da ýalňyşlyk görseňiz, gös-göni habarlaşmagyňyzy ýa-da GitHub arkaly düzediş girizmegiňizi haýyş edýäris. Ähli makalalar GitHub-da açyk elýeterlidir — bellikler, meseleler we tehniki pikir alyşmalar hemişe açykdyr.