Awtonom LLM Agentleri: Meýilleşdiriş Aýlawlary, Gural Interfeýsleri we Ýalňyşlyklary Düzetmek
Wagty täzelendi:

Awtonom LLM Agentleri: Meýilleşdiriş Aýlawlary, Gural Interfeýsleri we Ýalňyşlyklary Düzetmek


Gysgaça Mazmuny (Annotasiýa)

Esasy Maglumat: Uly dil modelleri (LLM) ýeke-täk soraglara takyk jogap berýärler, ýöne olary köp ädimli programma inženerçiligi meselelerinde awtonom agent hökmünde ulananyňda, kontekstiň ýitirilmegi, ýygnanýan ýalňyşlyklar we gözegçiliksiz meýilleşdiriş aýlawlary sebäpli şowsuzlyk derejesi ýokarlanýar.
Mesele Goýluşy: 10-dan 50-ä çenli yzygiderli hereketi talap edýän işlerde adaty modeller çylşyrymly ýalňyşlyklaryň ýygnanmagyndan ejir çekýär (P(U¨stu¨nlik)(pˉ)TP(\text{Üstünlik}) \le (\bar{p})^T). Bu ýagdaýda 90% ädim takyklygy 25 ädimlik işlerde 92.8% şowsuzlyk derejesine getirýär.
Usulyýet: Biz awtonom agentleriň karar bermek mehanizmlerini Pikirlenme-Hereket (ReAct) aýlawlary, sözli öz-özüňi seljerme ýady (Reflexion) we ýöriteleşdirilen Agent-Kompýuter Interfeýsi (ACI) arkaly düşündirýäris. Pydantic V2 shemalaryny, wagt çäklendirmeli gural iberijilerini we epizodik seljerme buferini ulanyp, Python 3.12+ üçin ygtybarly asinhron agent ýerine ýetirijisini gurýarys.
Netijeler: Ylmy synaglar sözli öz-özüňi seljermäniň HumanEval boýunça kod ýazmak takyklygyny (pass@1) 80.1%-den 91.0%-e ýetirýändigini, gurluşly ACI buýruklarynyň bolsa SWE-bench Lite barlagynda hakyky GitHub ýalňyşlyklaryny düzetmekde adaty bash terminalyna garanyňda 64% otnositel ösüş berýändigini (GPT-4 Turbo bilen 11.0%-den 18.0%-e) görkezýär.
Açar Sözler: awtonom agentler, ReAct aýlawlary, Reflexion, gurallary ibermek, ýygnanýan ýalňyşlyk kanuny, agent-kompýuter interfeýsi, Python 3.12.


1. Giriş we Esasy Bökdençlik

Uly dil modeli (LLM) 50 000 setirli kody bolan taslamada ýalňyşlygy tapmak, faýllary düzetmek, synaglary işletmek we üýtgeşmeleri tassyklamak ýaly awtonom programma inženeri hökmünde ulanylanda, derrew üç esasy bökdençlige duçar bolýar:

  1. Doňdurylan Ýat we Elsizlik: Modeliň agramlary (θ\theta) okuw tamamlanandan soň doňdurylýar. Model daşky gural interfeýsleri bolmasa täze faýllary görüp, maglumat bazalaryna sorag iberip ýa-da terminal buýruklaryny ýerine ýetirip bilmeýär (Schick et al., 2023).
  2. Köp Ädimli Ýalňyşlyklaryň Garpazy (Ýygnanýan Ýalňyşlyklar): Köp ädimli işlerde 2-nji ädimde goýberilen kiçijik ýalňyşlyk göni 3-nji ädime geçýär. Barlag we ýalňyşlygy düzetmek mehanizmleri bolmasa, uzyn işi üstünlikli tamamlamak ähtimallygy nola ýakynlaşýar (Huyen, 2025).
  3. Meýilleşdiriş bilen Ýerine Ýetirişi Garyşdyrmak: Modelden umumy meýilnamany düzmegi, gural parametrlerini formatlamagy we buýruklary ýerine ýetirmegi bir gezekde talap etmek, onuň ýok parametrleri oýlap tapmagyna ýa-da gaýtalanýan aýlawlara düşmegine sebäp bolýar.
flowchart TB
    subgraph SyyasatGatlagy ["1. Esasy Model Syýasat Gatlagy"]
        LLM["Syýasat Modeli (Doňdurylan Agramlar θ)"]
    end

    subgraph KognitiwDaslyk ["2. Kognitiw Çarçuwa Gurşawy"]
        direction TB
        Guard["Niýet we Çäk Goragçysy"]
        Registry["Gural Sanawy we Shema Barlagçysy"]
        Sandboxed["Çäklendirilen Asinhron Iberiji"]
        Memory[("Sözli Seljerme Ýat Buferi M")]

        Guard -->|"Barlanan Niýet"| Registry
        Registry -->|"Tiplenen Argumentler"| Sandboxed
        Sandboxed -->|"Ýalňyşlyk Derňewi"| Memory
    end

    subgraph Gurshaw ["3. Daşky Operasion Gurşaw"]
        direction TB
        POSIX["Linux Faýl Ulgamy we OS"]
        APIs["REST API-ler we Bulut Hyzmatlary"]
        DB[("Maglumat Binasy we Ýat")]
    end

    LLM -->|"Hereket Teklibi a_t"| Guard
    Memory -.->|"Epizodik Seljermeler"| LLM
    Sandboxed <-->|"Okamak we Ýazmak Penjiresi"| POSIX
    Sandboxed <-->|"HTTP Iberiş"| APIs
    Sandboxed <-->|"Sorag we Tassyklama"| DB

1.1 Esasy Üçlük: E,T,M\langle \mathcal{E}, \mathcal{T}, \mathcal{M} \rangle

Statik modeli awtonom agente öwürmek üçin biz ony üç bölekden ybarat hasaplaýyş gurşawyna ýerleşdirýäris (Huyen, 2025):

  • Gurşaw (E\mathcal{E}): Agentiň işleýän sanly dünýäsi (meselem, Linux faýl ulgamy, kod taslamasy ýa-da bulut API-si).
  • Gural Sanawy (T={f1,f2,,fK}\mathcal{T} = \{f_{1}, f_{2}, \dots, f_{K}\}): Agentiň işledip bilýän anyk funksiýalarynyň toplumy. Her fkf_{k} guralynyň anyk giriş shemasy bar (meselem, file_path: str, limit: int) we ol gurluşly gözegçilik maglumatyny gaytarýar.
  • Syýasat Modeli (M\mathcal{M}): Häzirki gözegçilikleri seljerip, indiki haýsy guraly çagyrmalydygyny kesgitleýän esasy πθ\pi_{\theta} modeli.

1.2 Ýönekeý Mental Model: “Uçarman we Dolandyryş Paneli (Kokpit)”

  • LLM — kokpitde oturan uçarmandyr.
  • Gural Sanawy — dolandyryş panelindäki düwmeler, petleler we enjamlar toplumydyr.
  • Gurşaw — uçaryň özi we asmandyr.
  • Uçarman işjeň dolandyryş enjamlary bolmasa uçup bilmez, şeýle hem hereketlendirijiniň duýduryş çyralaryna üns bermeýän awtopilot tiz wagtdan heläkçilige uçrar.

2. Köpbasgançakly Çylşyrymly Ýalňyşlyk Kanuny

Näme üçin awtonom agentler 2 ädimli ýönekeý işlerde gowy işleýärler, ýöne 20 ädimli işlerde bütinleý şowsuzlyga uçraýarlar?

2.1 Ýalňyşlyk Garpazynyň Matematiki Esasy

Geliň, agente TT sany aýratyn ädimden ybarat bolan çylşyrymly programmirleme meselesi berildi diýip göz öňüne getireliň:

τ=(a1,o1,a2,o2,,aT,oT)\tau = (a_{1}, o_{1}, a_{2}, o_{2}, \dots, a_{T}, o_{T})

Bu ýerde ata_{t}tt ädiminde saýlanan hereket, oto_{t} bolsa gurşawyň gaýtaran gözegçilik maglumatydyr. Goý, pt(0,1]p_{t} \in (0, 1] parametri tt ädiminiň işi bozmajak ýalňyşlyksyz, üstünlikli ýerine ýetirilme ähtimallygyny aňlatsyn.

Bütin işiň doly üstünlik bilen tamamlanmagynyň umumy ähtimallygy P(U¨stu¨nlik)P(\text{Üstünlik}) ähli ädimleriň ähtimallyklarynyň köpeltmek hasylyna deňdir:

P(U¨stu¨nlik)=t=1TptP(\text{Üstünlik}) = \prod_{t=1}^{T} p_{t}

Eger biz ortaça ädim ygtybarlylygyny pˉ=1Tt=1Tpt\bar{p} = \frac{1}{T} \sum_{t=1}^T p_{t} hökmünde hasaplasak, işiň üstünlikli tamamlanmagynyň ýokarky çägi şeýle bolýar:

P(U¨stu¨nlik)(pˉ)TP(\text{Üstünlik}) \le (\bar{p})^T

Geliň, işiň uzynlygy (TT) ulaldygyça üstünlik ähtimallygynyň nähili üýtgeýändigini göreliň:

Ortaça Ädim Ygtybarlylygy (pˉ\bar{p})5 Ädim (T=5T=5)10 Ädim (T=10T=10)25 Ädim (T=25T=25)50 Ädim (T=50T=50)Tejribedäki Manysy
99.0%99.0\% (Tipli ACI + Barlagçylar)95.1%95.1\%90.4%90.4\%77.8%77.8\%60.5%60.5\%Uzyn, köp ädimli inženerçilik işleri üçin ygtybarly
95.0%95.0\% (Adaty ReAct Promptlary)77.4%77.4\%59.9%59.9\%27.7%27.7\%7.7%7.7\%Gysga işler üçin ýaramly; çylşyrymly işlerde şowsuz
90.0%90.0\% (Gönümel Funksiýa Çagyryşy)59.1%59.1\%34.9%34.9\%7.2%7.2\%0.5%0.5\%25 ädimlik işde 92.8%92.8\% şowsuzlyk derejesi
80.0%80.0\% (Çäklendirilmedik Promptlar)32.8%32.8\%10.7%10.7\%0.38%0.38\%0.001%0.001\%Köp ädimli işler üçin düýbünden ýarawsyz

2.2 Esasy Binagärlik Netijeleri

  1. Modeliň Göwrümi Ýeterlik Däl: 90% ädim takyklygynda işleýän agentiň 25 ädimlik işi tamamlamak mümkinçiligi 8%-den hem pesdir. Modeli biraz uly ululyga geçirmek bu eksponensial gaçyşy özbaşdak çözüp bilmeýär.
  2. Kognitiw Çarçuwalar Ýalňyşlyklary Nollap Bilýär: Çuňňur işlerde (T25T \ge 25) ygtybarly netijä ýetmek üçin ulgama deterministik shema barlagy, sintaksis barlagly (linter) redaktorlar we ýalňyşlygy tutup, ädim ygtybarlylygyny täzeden 100%-e golaýladýan sözli seljerme buferleri gerekdir.

3. Esasy Agent Aýlawlary we Kognitiw Çarçuwalar

Agenti köp ädimli maksatlarda dogry ýolda saklamak üçin barlagçylar üç esasy kognitiw gurluşy döretdiler: ReAct, Reflexion we Agajy Gözlemek / Öňünden Çaklamak (Tree Search / Lookahead).

3.1 ReAct: Hereketden Öň Pikirlenmek (Yao et al., 2022)

ReAct-dan öň modeller iki sany aýry usulda ulanylýardy:

  • Diňe Pikirlenmek (Chain-of-Thought): Model diňe öz-özi bilen gürleşýär. Daşky gurallara ýüz tutup bilmeýändigi sebäpli maglumatlary ýoňsuz oýlap tapýar we pikirlerini barlap bilmeýär.
  • Diňe Hereket Etmek (Göni Gural Çagyrmak): Model pikirlerini ýazmazdan, gös-göni gurallary çagyrýar. Ol köplenç konteksti ýitirýär, şol bir soraglary gaýtalaýar we goşmaça maksatlara dogry bölünip bilmeýär.

ReAct Pikirlenmegi we Hereket Etmegi yzygiderli utgaşdyrýar: Pikir -> Hereket -> Gözegçilik.

flowchart TD
    State["Häzirki Kontekst Ýagdaýy s_t"] --> Thought["1. Pikir Döret r_t (Meýilnama / Seljerme)"]
    Thought --> Action["2. Hereket Döret a_t (Gural we Argument Saýla)"]
    Action --> Execute["3. Guraly Gurşawda Ýerine Ýetir"]
    Execute --> Observation["4. Gözegçilik Maglumatyny Al o_t"]
    Observation --> UpdateState["Taryha (Pikir, Hereket, Gözegçilik) Goş"]
    UpdateState --> State

Derňewçi Analogiýasy

Jenaýaty derňeýän derňewçini göz öňüne getiriň:

  1. Pikir: “Şübheli adamyň duşenbe güni Seattledadygyny barlamaly.”
  2. Hereket: Seattledaky myhmanhananyň hasaba alyş sanawyny barla.
  3. Gözegçilik: Sanawda şübheli adamyň sagat 14:00-da gelendigi görünýär.
  4. Pikir: “Indi şol gün irdenki uçar gatnawlarynyň sanawyny barlamaly.”
  5. Hereket: Uçuş maglumatlar bazasyna sorag iber.

Näme üçin bu işleýär: Ýazylan pikir gözleg soragyny ugrukdyrýar, hakyky gurşawdan gelen gözegçilik bolsa modeliň ýalan delilleri oýlap tapmagynyň öňüni alýar. HotpotQA barlagynda ReAct ýalňyş maglumat döretmek şowsuzlygyny 56%-den 0%-e çenli azaltdy we takyklygy 35.1%-e çykardy; köp ädimli ALFWorld barlagynda bolsa diňe herekete esaslanýan usula garanyňda işi tamamlamak görkezijisini 45.0%-den 71.0%-e göterdi (Yao et al., 2022).


3.2 Reflexion: Kontekstdäki Öz-özüňi Düzetmek (Shinn et al., 2023)

Agent bir işde şowsuzlyga uçranda (meselem, ýazylan kod synagdan geçmedik wagty), adaty maşyn okuwy çemeleşmesi Güýçlendirilen Okuw (RL) bolup, ol milliardlarça agramy gradient arkaly täzelemegi talap edýär. Emma agramlary göni wagtda täzelemek gaty haýal, gymmat we modeliň umumy bilimlerini ýitirmegine sebäp bolup biler.

Reflexion agram täzelemelerini Sözli Öz-özüňi Seljerme bilen çalşyrýar:

flowchart TD
    Trial["Synanyşyk k: Iş Ýoluny Ýerine Ýetir"] --> Evaluator{"Baha Beriji Barlagy (Synaglar)"}
    
    Evaluator -->|"Geçdi (Baha = 1.0)"| Success["Tamamlanan Işi Gaýtar"]
    Evaluator -->|"Şowsuz (Baha < 1.0)"| Reflection["Seljerme Barlagçysy (Şowsuzlygy Derňe)"]
    
    Reflection --> MemoryBuffer["Derňewi Ýat Buferine Ýaz M"]
    MemoryBuffer --> NextTrial["Synanyşyk k+1 Başlat (Ýat Bellikleri Bilen)"]
    NextTrial --> Trial

Talyp we Okuw Gündeligi Analogiýasy

Programmirleme synagyna taýýarlanýan talyby göz öňüne getiriň:

  • Talyp funksiýa ýazyp, IndexError: list index out of range ýalňyşlygyny alanda, beýnisiniň neýronlaryna hirurgiki operasiýa etmek gerek däl.
  • Ol öz okuw depderine ýönekeý bellik ýazýar: “Ýatda sakla: Python sanawlary 0-dan başlanýar. Indiki synanyşykda aýlawy 0 indeksinden başlat.”
  • Indiki synanyşykda talyp depderindäki belligi okaýar we derrew dogry kody ýazýar.

Reflexion usulynda model agramlary doňdurylgy galýar (Δθ=0\Delta \theta = \mathbf{0}). Baha beriji modul netijäni barlaýar. Eger synaglar şowsuz bolsa, seljerme modeli anyk derňewi (mkm^{k}) döredýär we ony ýat buferine ýazýar (Mk+1=Mk{mk}M^{k+1} = M^{k} \cup \{m^{k}\}).

HumanEval Python barlagynda bu ýönekeý öz-özüňi seljerme aýlawy GPT-4-iň Pass@1 takyklygyny 80.1%-den 91.0%-e çenli ýokarlandyrdy (Shinn et al., 2023).


3.3 Strategik Öňdebaryjy Gözleg we Yza Gaýtmak: RAP & MCTS (Hao et al., 2023)

Adaty LLM çagyryşlary hereketleri çepden saga birugurly (greedy) döredýär. Eger 1-nji ädimde ýalňyş ýol saýlansa, model şol ýolda dykylyp galýar we yza gaýdyp bilmeýär.

Dil Modeli bilen Meýilleşdiriş we Dünýä Modeli (RAP) muny LLM-i iki rolda ulanmak arkaly çözýär:

  1. Hereket Syýasaty: Indiki ädim üçin mümkin bolan hereket teklip edýär.
  2. Dünýä Modeli: Geljekki ýagdaýlary simulirleýär we ädimiň geljeginiň bardygyny ýa-da onuň dyngylyga alyp barýandygyny bahalandyrýar.

Küşt Grossmeýsteri Analogiýasy

  • Täze öwreniji küştçi amatly görünen ilkinji göçümi göçýär we köplenç duzaga düşýär (Birugurly döretme).
  • Grossmeýster bolsa beýnisinde öňünden hasaplaýar: “Eger men aty bärä göçsem, garşydaşym pilini ol ýere geçirýär we meniň wezirim gabalýar. Gowusy, men pyýada bilen göçüşi barlap göreýin.” (Öňünden çaklamak we yza gaýtmak).

Dünýä modeliniň simulýasiýasy bilen Monte-Karlo Agajy Gözlegini (MCTS) ulanmak arkaly, RAP 6 ädimli blok meýilleşdirişinde birugurly CoT-yň pes netijesini (2.0% – 6.0%) LLaMA-2 70B modelinde 74.0%-den gowrak üstünlige çykarmagy başardy (Hao et al., 2023).


4. Emeli Aň üçin Interfeýsleri Taslamak: Agent-Kompýuter Interfeýsi (ACI)

Ilkinji gezek programma ýazýan agentler gurlan döwründe, olar adaty Linux bash terminalyna (cat, grep, sed, vim) gönümel baglandy. Emma adaty terminal gurallary dil modelleri üçin däl-de, ynsanyň gözleri we barmaklary üçin niýetlenendir (Yang et al., 2024).

4.1 “Ynsan Ulanyjy Interfeýsi we AI Interfeýsi” Deňeşdirmesi

Amaly IşAdaty Ynsan Terminal Guraly (LLM üçin Şowsuz)Agent-Kompýuter Interfeýsi (ACI) Guraly (LLM üçin Ýöriteleşdirilen)Näme üçin ACI Utuş Gazanýar
Faýl Okamakcat -n file.py (5 000 setiri kontekste dökýär)view_file_window(path, offset=1, limit=100)Kontekst penjiresiniň dolmagynyň öňüni alýar; token harjyny azaldýar
Kod Düzetmeksed -i 's/foo/bar/g' (Regex belgilerinde döwülýär)replace_exact_text(path, target_str, new_str)Ýeke-täk anyk teksti talap edýär; sintaksis bozulmalaryny nollaýar
Simwol Gözlemekgrep -rn "def process" (Uly göwrümli log dökýär)find_symbol_ast(symbol_name, file_filter)Setir belgileriniň we funksiýa gurluşlarynyň gysga sanawyny berýär
Ýalňyşlyk JogabyDymyp duran şowsuzlyk: exit code 1{"status": "error", "hint": "target_str not found on line 42"}Modeliň özüni düzetmegi üçin anyk diagnostik maslahat berýär

4.2 ACI-nyň 3 Esasy Inženerçilik Düzgüni

  1. Penjireli Serediş Mehanizmi: Faýl okaýjylar hiç wagt çäksiz teksti dökmelemeli däldir. Olar anyk setir belgileri bilen her gezekde 50–100 setir maglumat gaýtarmalydyr (1 | def calculate_loss():).
  2. Çalyşmak üçin Anyk Tekst Gözlegi: Köp setirli faýl redaktorlary üýtgetme girizmezden öň faýlda diňe şol bir sany gaýtalanmaýan teksti tapmalydyr. Eger tekst ýeke-täk bolmasa ýa-da tapylmasa, gural howpsuz saklanýar we agente duýduryş berýär.
  3. Linter Arkaly Derrew Anyklama: Agent faýly üýtgeden badyna, gural derrew sintaksis barlagyny (linter) işletmelidir. Eger üýtgetme sintaksis ýalňyşlygyny döretse, gural synaglar işletilmezden öň ýalňyşlyk habaryny göni agente gaýtarýar.

SWE-bench Lite barlagynda adaty bash terminalyndan (11.0%) gurluşly ACI gurallaryna (18.0%) geçmek, GPT-4 Turbo ulanylanda meseleleri çözmegi 64% otnositel derejede ýokarlandyrdy (Yang et al., 2024).


4.3 Göni Resminama RAG (Gorilla, Patil et al., 2023)

Adaty modeller çylşyrymly maşyn okuwy we bulut kitaphanalarynda API nokatlaryny we parametrlerini 36%-den 78%-e çenli ýagdaýlarda ýoňsuz oýlap tapýarlar, sebäbi model öwredilip doňdurylandan soň kitaphanalaryň funksiýa gurluşlary üýtgeýär.

Gorilla barlagy gözleg bilen goldanýan okuwyň (RAFT)—modelleri gözleg moduly bilen bilelikde täze API resminamalarynda kämilleşdirmegiň—API parametrlerini oýlap tapmak ýalňyşlygyny TorchHub-da 0.0%-e, TensorFlow Hub-da bolsa 2.4%-den aşak düşürýändigini, şol bir wagtda işjeň API takyklygyny 83.8%–94.2% çenli ýokarlandyrýandygyny subut etdi (Patil et al., 2023).


5. Ulgam Binagärligi: Meýilleşdirmegi, Barlamagy we Ýerine Ýetirmegi Biri-birinden Aýyrmak

Önümçilikdäki agent ulgamy meýilnama düzmegi, parametr barlagyny we buýruk ýerine ýetirişini bir uly promptda garyşdyrmaly däldir. Beýle garyşyk promptlar gural garaşylmadyk jogap beren badyna bütinleý döwülýär.

Onuň deregine, önümçilik ulgamy işi üç sany aýratyn tapgyra bölýär:

flowchart TD
    UserQuery["Ulanyjy Iş Tabşyrygy"] --> ScopeGuard{"1. Niýet we Çäk Goragçysy"}
    
    ScopeGuard -->|"Çäkden Daşary"| RejectSink["Çalt Howpsuz Ret Ediş"]
    ScopeGuard -->|"Dogry Tabşyryk"| PlanGen["2. Meýilnama Dörediji (LLM Syýasaty)"]
    
    PlanGen --> SchemaVal{"3. Deterministik Shema Barlagçysy"}
    
    SchemaVal -->|"Shema Bozulmasy"| CorrectionHint["Ýalňyşlyk Duýduryşy"]
    CorrectionHint --> PlanGen
    
    SchemaVal -->|"Dogry Parametrler"| Dispatcher["4. Asinhron Çäklendirilen Iberiji"]
    
    subgraph ToolInventory ["Çäklendirilen Gural Sanawy"]
        T1["Penjireli Faýl Okaýjy (ACI)"]
        T2["Anyk Faýl Redaktory"]
        T3["Çäklendirilen Python / Pytest Ýerine Ýetiriji"]
        T4["Göni Resminama RAG"]
    end
    
    Dispatcher --> T1
    Dispatcher --> T2
    Dispatcher --> T3
    Dispatcher --> T4
    
    T1 --> Evaluator{"5. Netijä Baha Beriji"}
    T2 --> Evaluator
    T3 --> Evaluator
    T4 --> Evaluator
    
    Evaluator -->|"Maksat Ýetildi (Synaglar Geçdi)"| FinalOutput["Ulanyja Gurluşly Jogap"]
    Evaluator -->|"Maksat Ýetmedi / Ýalňyşlyk"| ReflexionMemory["Sözli Seljerme Ýat Buferi M"]
    ReflexionMemory --> PlanGen

5.1 Aýrylan Işleýiş Tapgyrlary

  1. Niýet we Çäk Goragçysy: Çalt işleýän hewristik süzgüç ýa-da kiçi model gymmat meýilleşdiriş aýlawlaryny başlatmazdan öň, ulanyjynyň soragynyň howpsuzdygyny we ulgamyň ygtyýarlyklarynyň çägindedigini barlaýar.
  2. Deterministik Shema Barlagçysy: Buýruk ýerine ýetirilmezden öň, aralyk barlagçy (Pydantic V2 ýa-da JSON Schema ulanyp) teklip edilýän gural parametrlerini barlaýar. Eger model nädogry görnüş hödürlese (meselem, offset: -5), barlagçy ýalňyşlygy saklaýar we hakyky ulgama degmezden öň düzediş duýduryşyny gaýtarýar.
  3. Çäklendirilen Asinhron Iberiji: Tassyklanan çagyryşlary päsgel bermeýän I/O we berk wagt çäkleri (meselem, asyncio.wait_for(timeout=10.0)) bilen izolirlenen işçilere iberýär.
  4. Netijä Baha Beriji we Seljerme Ýady: Synaglaryň netijesini bahalandyrýar we indiki synanyşyk üçin şowsuzlyk derňewlerini epizodik ýat buferine ýazýar.

5.2 Gurallaryň Baglanyşygy we Gurallary Birleşdirmek (Tool Fusion)

Köp aýlawly agent işlerinde ownuk gurallary ýeke-ýekeden çagyrmak tor boýunça giriş-çykyş gijikmesini köpeldýär. Chameleon barlagyndaky gural geçiş graflarynyň derňewine salgylanyp (P(fjfi)P(f_{j} \mid f_{i}); Lu et al., 2023), ulgamlar ýerine ýetiriş loglaryny derňäp, biri-birine berk bagly gural yzygiderliklerini anyklap bilerler.

Loglar bir gural çagyryşynyň hemişe başga bir guraldan soň gelýändigini görkezende (meselem, kody üýtgeden badyna birlik synaglaryny işletmek ýa-da parametr ýalňyşlygyndan soň shema resminamasyny soramak), ulgam olary ýeke-täk bitewi buýruga birleşdirip biler (meselem, edit_and_test). Gurallary Birleşdirmek (Tool Fusion) diýlip atlandyrylýan bu usul model çagyryş aýlawyny azaldýar, token çykdajysyny tygşytlaýar we anyk barlagy saklap, gijikme wagtyny gysgaldýar.


6. Ýerine Ýetiriş Gurşawy we Asinhron Iberiş Akymy

Modeliň barlanmadyk tekliplerini gös-göni hakyky terminalda işletmegiň deregine, önümçilikdäki agent gurşawy meýilleşdirmegi, barlamagy, howpsuz ýerine ýetirişi we ýat derňewlerini asinhron turba arkaly utgaşdyrýar.

sequenceDiagram
    autonumber
    actor User as Ulanyjy / Müşderi
    participant Guard as Niýet Goragçysy
    participant Policy as LLM Syýasaty
    participant Val as Shema Barlagçysy
    participant Engine as Asinhron Iberiji
    participant Tool as Çäklendirilen Gural
    participant Mem as Seljerme Ýat Buferi

    User->>Guard: Tabşyryk Soragyny Iber
    Guard->>Policy: Barlanan Tabşyryk Niýeti

    Note over Policy,Mem: Synanyşyk 1: Ýalňyş Ädim we Shema Tutulmagy
    Policy->>Val: Hereket Teklibi (Ýalňyş Parametr: offset=-5)
    Val-->>Mem: Düzgün Bozulmasyny Tut we Ýalňyşlygy Ýaz
    Mem-->>Policy: Sözli Seljermäni Prompt Kontekstine Goş

    Note over Policy,Mem: Synanyşyk 2: Öz-özüňi Düzetmek we Barlanan Ýerine Ýetiriş
    Policy->>Val: Düzedilen Hereket Teklibi (Dogry Parametr: offset=1)
    Val->>Engine: Tassyklanan Tipli Parametrler
    Engine->>Tool: Päsgel Bermeýän Iberiş (10s Wagt Sagady Bilen)
    Tool-->>Engine: Gözegçilik Jogaby (Gurluşly AST / Setirler)
    Engine-->>Policy: Gözegçilik Maglumaty Syýasata Gowşuryldy
    Policy->>User: Barlanan Ahyrky Çözgüt

6.1 4 Tapgyrly Işleýiş Sikli

  1. Niýet we Çäk Goragçysy: Gelýän soraglar deslapky klassifikatoryň barlagyndan geçýär. Eger sorag rugsat berilmedik çäklere degişli bolsa (meselem, rugsatsyz tor aragatnaşygy ýa-da çäkden daşary buýruklar), gymmat meýilleşdiriş aýlawlary başladylmazdan öň, ulgam howpsuz we nurbat çykdajysyz duýduryş bilen derrew duruzylýar.
  2. Işletmezden Öňki Shema Tutulmagy: Syýasat modeli gural çagyryşyny teklip eden wagty, aralyk barlagçy kod işletilmezden öň parametr tiplerini anyk shemalar (Pydantic modelleri ýa-da JSON Schema) arkaly barlaýar. Eger model ýok parametri oýlap tapsa ýa-da çäkden daşary bahalary berse (meselem, offset: -5), barlagçy çagyryşy saklaýar we düşnükli diagnostik habar döredýär.
  3. Çäklendirilen Asinhron Iberiş: Tassyklanan hereketler päsgel bermeýän asinhron I/O (asyncio) arkaly aýratyn işçilerde ýerine ýetirilýär. Her bir daşky gural çagyryşy berk wagt çägi bilen goralýar (meselem, 10.0 s10.0\text{ s}). Eger daşky buýruk asylyp galsa, dykylyp dursa ýa-da ýykylsa, iberiji ýalňyşlygy tutýar, garaşylýan işi ýatyrýar we agent aýlawynyň doňup galmagynyň öňüni almak üçin tiplenen ExecutionResult gaytarýar.
  4. Epizodik Seljerme we Öz-özüňi Düzetmek: Bir ädim ýa-da synag toplumy şowsuz bolanda, netijä baha beriji gysga şowsuzlyk derňewini döredýär we ony epizodik ýat buferine goşýar (Mk+1=Mk{mk}M^{k+1} = M^{k} \cup \{m^{k}\}). Indiki synanyşykda bu derňew syýasat modeliniň prompt kontekstine girizilýär we bu agentiň agramlary üýtgetmezden (Δθ=0\Delta \theta = \mathbf{0}) öz ýalňyşlyklaryny düzetmegine mümkinçilik berýär.

Önümçilik Barlaghana Hereketlendirijisi:
Pydantic V2 shemalaryny, asinhron wagt çäklendirijilerini, penjireli ACI gurallaryny we seljerme synag toplumyny öz içine alýan doly, önümçilik üçin taýyn Python 3.12+ nusgasy açyk çeşmeli ylmy taslama hökmünde elýeterlidir.
🔗 Repozitoriýa: github.com/kervendurdy/autonomous-agent-engine


7. Master Ylmy Barlag Deňeşdirme Matrisasy we Gijikme Häsiýetnamalary

Ylmy barlaglarda kognitiw çarçuwalar, gurluşly ACI gurallary we seljerme ýat buferleri utgaşdyrylanda, olar hemişe adaty esasy modellerden ep-esli ýokary netije berýär:

7.1 Barlag Matrisasy

Ylmy BarlagMaksat Edilýän UgurEsasy Deňeşdirme (Adaty Model)Agent BinagärligiÇarçuwa BahasyNetije TapawudyEsasy Mehanizm
ALFWorldKöp Ädimli Öý Meýilleşdirişi45.00%45.00\% (Diňe Hereket Esasy)ReAct (Yao et al., 2022)71.00%71.00\%+26.00%+26.00\%Maksady yzarlamak we umumy manyly pikirlenmek
HotpotQAKöp Ädimli Fakt Gözlegi25.70%25.70\% (Diňe Hereket Esasy)ReAct (Yao et al., 2022)35.10%35.10\%+9.40%+9.40\%Gözleg delili bilen ýalan maglumaty nollamak (56%0%56\% \to 0\%)
FEVERFaktlary Barlamak56.30%56.30\% (PaLM-540B CoT)ReAct (Yao et al., 2022)60.90%60.90\%+4.60%+4.60\%Daşky Wikipedia gözleg barlag aýlawlary
HumanEvalPython Kod Döretmek (Pass@1)80.10%80.10\% (GPT-4 Adaty)Reflexion (Shinn et al., 2023)91.00%91.00\%+10.90%+10.90\%Synag şowsuzlygyny epizodik ýatda seljermek
ScienceQAMultimodal Ylmy Sorag-Jogap83.99%83.99\% (Few-shot GPT-4 CoT)Chameleon (Lu et al., 2023)86.54%86.54\%+2.55%+2.55\%13 gurully programma sintezi we OCR/Python iberişi
TabMWPTablisa Matematiki Meseleleri90.81%90.81\% (GPT-4 CoT)Chameleon (Lu et al., 2023)98.78%98.78\%+7.97%+7.97\%Dinamiki Python ýerine ýetirijisi + shema gözlegi
SWE-bench LiteHakyky GitHub Ýalňyşlyklaryny Düzetmek11.00%11.00\% (Diňe Bash GPT-4 Turbo)SWE-agent + GPT-4 Turbo (Yang et al., 2024)18.00%18.00\%+63.64%+63.64\%Penjireli ACI buýruklary + sintaksis barlagly redaktor
APIBench (HF)1 645 Maşyn Okuwy API-si19.80%19.80\% (Zero-Shot GPT-4)Gorilla-7B (Patil et al., 2023)91.26%91.26\%+71.46%+71.46\%Gözleg bilen kämilleşdiriş (RAFT) + göni shema resminamasy

7.2 Reflexion Aýlawlaryndaky Bähbit-Ýitgi Gatnaşyklary we Çäkler

Sözli öz-özüňi seljerme işiň takyklygyny ep-esli ýokarlandyrýan hem bolsa (meselem, HumanEval boýunça GPT-4 Pass@1 görkezijisini 80.1%80.1\%-den 91.0%91.0\%-e çenli; Shinn et al., 2023), ol ýerine ýetiriş gijikmesinde we token sarp edilişinde anyk inženerçilik çäklendirmelerini döredýär:

  1. Ilkinji Synanyşyklardaky Esasy Ösüş: Kodlaşdyrma (HumanEval, MBPP) we karar bermek barlaglaryndaky (HotpotQA, ALFWorld) okuw egri çyzyklary iň uly takyklyk ösüşiniň birinji we ikinji seljerme synanyşyklarynda ýüze çykýandygyny görkezýär.
  2. Netijäniň Doýmagy we Gaýtalanma: Üçünji we dördünji synanyşyklara ýetilende netije durnuklaşýar. Üç synanyşykdan soň agentler köplenç täze çözgüt ýollaryny tapman, öňki seljermeleri gaýtalaýan aýlawa düşýärler.
  3. Kontekstiň Çişmegi we Gijikme Wagty: Her bir seljerme aýlawy öňki kod synanyşyklaryny, ýalňyşlyk yzlaryny we seljerme beýanlaryny prompt ýadyna goşýar. Bu promptdaky token göwrümini ulaldýar we modeliň umumy jogap bermek wagtyny birnäçe esse artdyrýar.
  4. Çykdajyny Dolandyrmak Çägi: Önümçilik binagärlikleri seljerme sanyna anyk çäk goýmalydyr (k23k \le 2\text{--}3) we synaglar şowsuz bolmagyny dowam etdirse, adamyň gözegçiligine ýa-da başga şahalanma strategiýalaryna geçmelidir.

8. Ýalňyşlyk Görnüşleriniň Klassifikasiýasy we Howpsuzlyk Goraglary

Agent ýalňyşlyklary ulgamlaýyn görnüşde üç esasy topara bölünýär (Huyen, 2025):

8.1 3 Bölekli Ýalňyşlyk Klassifikasiýasy

Ýalňyşlyk ToparyEsasy Sebäp we BelkilerHakyky Durmuşdan MysalInženerçilik Çözgüdi
1. Meýilleşdiriş ÝalňyşlyklaryÝok guraly oýlap tapmak, nädogry argumentler, çäkleri bozmak, wagtyndan öň tamamlamakModel ýok bolan create_invoice() guralyny çagyrýar ýa-da offset=-5 iberýärBerk Pydantic V2 barlagy; AST deslapky kompilýasiýasy; aýratyn meýilnama barlagçy düwüni
2. Gural Ýerine Ýetiriş ÝalňyşlyklaryTutulmadyk ýalňyşlyklar, tor arabaglanyşygynyň kesilmegi, gural çykyşlarynyň üýtgemegiBash buýrugy asylyp galýar ýa-da exit code 1 bilen ýykylyp, aýlawy doňdurýarBerk asyncio.wait_for wagt sagatlary; tiplenen ýalňyşlyk örtükleri
3. Kontekst we Token ÇişmegiKontekst penjiresiniň dolmagy; “ortada ýitmek” (lost-in-the-middle) üns azalmagyPrompta 10 000 setir log dökülmegi sebäpli modeliň esasy tabşyrygy ýatdan çykarmagyPenjireli ACI faýl okaýjylary; aýlanýan gürrüňdeşlik gysgaltmasy; RAG süzgüçleri

8.2 Okamak we Ýazmak Gurallarynyň Bölünmegi we Iki Tapgyrly Tassyklama

Önümçilik gurşawynda agentler barlag süzgüçleri bolmazdan hiç haçan çäklendirilmedik ýazmak ygtyýarlyklaryna eýe bolmaly däldir:

flowchart LR
    AgentAction["Teklip Edilýän Agent Hereketi"] --> ActionClassifier{"Gytaklaýyn Täsir Klassifikatory"}
    
    ActionClassifier -->|"Diňe Okamak Hereketi (view_file, search)"| DirectRun["Çäklendirilen Okamak Ýerine Ýetirişi"]
    ActionClassifier -->|"Üýtgediji Hereket (write_file, delete, deploy)"| TwoPhaseGate["Iki Tapgyrly Tassyklama Derwezesi"]
    
    TwoPhaseGate --> InvariantCheck{"Statiki Howpsuzlyk Barlagy"}
    InvariantCheck -->|"Düzgün Bozuldy"| RejectAction["Ret Et we Modele Jogap Ber"]
    InvariantCheck -->|"Düzgün Dogry"| HumanGate{"Ynsan Tassyklama Derwezesi"}
    
    HumanGate -->|"Tassyklandy"| ExecuteMutate["Üýtgediji Buýrugy Ýerine Ýetir"]
    HumanGate -->|"Ret Edildi"| AbortAction["Ýatyr we Audit Logyna Ýaz"]

Hökman Berjaý Edilmeli Howpsuzlyk Düzgünleri:

  • Iki Tapgyrly Tassyklama: Ýumrujy ýa-da üýtgediji amallar (faýl ýazmak, maglumat bazasyny täzelemek, tor buýruklary) ahyrky ýerine ýetirişden öň dry_run deslapky synyny bermelidir.
  • Idempotentlik we Yza Gaýtarmak: Her bir gural yza gaýtaryş tokenlerini goldamalydyr ýa-da tranzaksiýa çäklerinde goralmalydyr.
  • Berk Wagt Sagatlary: Daşky fonda işleýän prosesleriň agent aýlawyny doňdurmagynyň öňüni almak üçin her bir daşky gural çagyryşy asinhron wagt çägi bilen dolandyrylmalydyr (meselem, 10.0 s10.0\text{ s}).

9. Netije we Ylmy Çeşmeler

Bu ylmy barlag gollanmasy adaty esasy modelleriň köp ädimli işlerde goşmaça çarçuwasyz näme üçin şowsuz bolýandygyny düşündirýär we iş ädimleriniň uzalmagy bilen ýalňyşlyklaryň eksponensial köpelýändigini (P(pˉ)TP \le (\bar{p})^T) matematik hem-de amaly taýdan subut edýär.

Meýilleşdirmegi shema barlagyndan aýyrmak, penjireli Agent-Kompýuter Interfeýslerini (ACI) ornaşdyrmak we kontekst içindäki sözli öz-özüňi seljerme ýadyny (Reflexion) ulanmak arkaly inženerçilik toparlary çylşyrymly pikirlenme we kodlaşdyrma barlaglarynda işiň çözüliş derejesini 90%-den ýokary göterip bilerler hem-de uzyn zynjyrly işleri ýygnanýan ýalňyşlyklardan gorap bilerler.


10. Salgylanmak Tertibi (APA 7 & BibTeX)

APA 7th Edition Salgylanma Formaty

Allaberdiyev, K. (2026). Awtonom LLM agentleri: Meýilleşdiriş aýlawlary, gural interfeýsleri we ýalňyşlyklary düzetmek. Kervendurdy Barlag Merkezi. https://kervendurdy.com/tk/blog/awtonom-llm-agentler

BibTeX Salgylanma Ýazgysy

@article{allaberdiyev2026awtonomagentler,
  author    = {Allaberdiyev, Kervendurdy},
  title     = {Awtonom LLM Agentleri: Meýilleşdiriş Aýlawlary, Gural Interfeýsleri we Ýalňyşlyklary Düzetmek},
  journal   = {kervendurdy.com},
  year      = {2026},
  url       = {https://kervendurdy.com/tk/blog/awtonom-llm-agentler}
}

11. Edebiýatlar we Çeşmeler (APA 7th Edition)

  • Anthropic. (2024). Building effective agents [Technical report]. Anthropic Research. https://www.anthropic.com/research/building-effective-agents
  • Hao, S., Gu, Y., Ma, H., Hong, J. J., Wang, Z., Wang, D. Z., & Hu, Z. (2023). Reasoning with language model is planning with world model. Advances in Neural Information Processing Systems (EMNLP 2023). https://doi.org/10.48550/arXiv.2305.14992
  • Huyen, C. (2025). Agents [Engineering guide]. Huyen Chip Blog. https://huyenchip.com/2025/01/07/agents.html
  • Lu, P., Peng, B., Cheng, H., Galley, M., Chang, K. W., Wu, Y. N., Zhu, S. C., & Gao, J. (2023). Chameleon: Plug-and-play compositional reasoning with large language models. Advances in Neural Information Processing Systems (NeurIPS 2023), 36, 45120–45142. https://doi.org/10.48550/arXiv.2304.09842
  • Lu, P., Qiu, L., Chang, K. W., Wu, Y. N., Zhu, S. C., Rajpurohit, T., Clark, P., & Kalyan, A. (2022). Dynamic prompt learning via policy gradient for semi-structured mathematical reasoning. Advances in Neural Information Processing Systems (NeurIPS 2022), 35, 26413–26426. https://doi.org/10.48550/arXiv.2209.14610
  • Patil, S. G., Zhang, T., Wang, X., & Gonzalez, J. E. (2023). Gorilla: Large language model connected with massive APIs. arXiv preprint arXiv:2305.15334. https://doi.org/10.48550/arXiv.2305.15334
  • Schick, T., Dwivedi-Yu, J., Dessì, R., Raileanu, R., Lomeli, M., Zettlemoyer, L., Cancedda, N., & Scialom, T. (2023). Toolformer: Language models can teach themselves to use tools. Advances in Neural Information Processing Systems (NeurIPS 2023), 36, 68539–68551. https://doi.org/10.48550/arXiv.2302.04761
  • Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems (NeurIPS 2023), 36, 8634–8652. https://doi.org/10.48550/arXiv.2303.11366
  • Wang, G., Xie, Y., Jiang, Y., Mandlekar, A., Xiao, C., Zhu, Y., Fan, L., & Anandkumar, A. (2023). Voyager: An open-ended embodied agent with large language models. Advances in Neural Information Processing Systems (NeurIPS 2023). https://doi.org/10.48550/arXiv.2305.16291
  • Weng, L. (2023). LLM powered autonomous agents [Technical review]. Lil’Log. https://lilianweng.github.io/posts/2023-06-23-agent/
  • Yang, J., Jimenez, C. E., Wettig, A., Lieret, K., Yao, S., Narasimhan, K., & Press, O. (2024). SWE-agent: Agent-computer interfaces enable automated software engineering. Advances in Neural Information Processing Systems (NeurIPS 2024). https://doi.org/10.48550/arXiv.2405.15793
  • Yang, Z., Qi, P., Zhang, S., Bengio, Y., Cohen, W. W., Salakhutdinov, R., & Manning, C. D. (2018). HotpotQA: A dataset for diverse, explainable multi-hop question answering. Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), 2369–2380. https://doi.org/10.48550/arXiv.1809.09600
  • Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2022). ReAct: Synergizing reasoning and acting in language models. International Conference on Learning Representations (ICLR 2023). https://doi.org/10.48550/arXiv.2210.03629

Açyk Barlag we Awtorlyk Belligi

Bu platformadaky ähli makalalar we tehniki gollanmalar ulgam inženerçiligi hem-de emeli aň barlaglary boýunça öz düşunjelerini paýlaşmak isleýän bir şahs tarapyndan ýazylýar we gözden geçirilýär. Maglumatlaryň takyk bolmagy üçin ýokary tagalla edilse-de, käbir ýalňyşlyklar ýa-da gözden sypan maglumatlar bolup biler. Eger nätakyklyk ýa-da ýalňyşlyk görseňiz, gös-göni habarlaşmagyňyzy ýa-da GitHub arkaly düzediş girizmegiňizi haýyş edýäris. Ähli makalalar GitHub-da açyk elýeterlidir — bellikler, meseleler we tehniki pikir alyşmalar hemişe açykdyr.