Apa Itu
Istilah · Kejuruteraan LLM · Ejen AI · Penanda aras · AI · PenjelasanIstilah dan amalannya, Oktober 2022 hingga September 2026
Ketiga daripada lima · lapisan paling luar
Ia bermula sebagai penalaan sebuah ejen. Menjelang Mac ia bermaksud segalanya kecuali model.
Pada 4 November 2025 Dex Horthy menulis bahawa dia melihat satu amalan baharu muncul dan akan menamakannya kejuruteraan harness: menerapkan kejuruteraan konteks pada arahan, hook, skill dan alat yang dipasang pengguna pada ejen pengekodan sedia ada. Pada 5 Februari 2026 Mitchell Hashimoto, yang tidak tahu sebarang istilah yang diterima, menggunakan frasa yang sama untuk sesuatu yang sama saiznya — sebuah fail arahan dan beberapa skrip. Pada 10 Mac Vivek Trivedy mentakrifkannya sebagai segala yang ada dalam ejen yang bukan model, dan itulah maksud yang diberi ensiklopedia kini. Kepustakaan mengaitkan frasa itu dengan Hashimoto atau Trivedy; kedua-dua pengiktirafan itu tidak menyebut hantaran terawal yang ditemui. Apa yang telah diukur sejak itu lebih sempit daripada apa yang didakwa: menetapkan model dan menukar harness sahaja menggerakkan skor, dengan jumlah yang bergantung pada model.
Dua penggunaan kecil, kemudian satu takrif besar Frasa itu dua kali bersaiz tetapan pengguna sebelum menjadi sebesar ejen itu.
- 93hari dari penggunaan terawal frasa itu yang ditemui hingga penggunaan Hashimoto
- 33hari dari penggunaan Hashimoto hingga takrif Trivedy sebagai segalanya kecuali model
- 13.7mata yang diperoleh pada Terminal Bench 2.0 dengan model ditetapkan dan hanya harness ditukar, menurut laporan LangChain tentang ejennya sendiri
- 0sumber yang mendamaikan sama ada kejuruteraan harness mengandungi kejuruteraan konteks atau merupakan satu bentuknya
Dex Horthy · X · 4 Nov 2025
“Yang akan saya namakan kejuruteraan harness”
- Takrifnya: menerapkan prinsip kejuruteraan konteks pada cara anda menggunakan ejen sedia ada — bagi Claude Code, “arahan, hook, skill, ejen, MCP dan sebagainya” yang dipasang pengguna padanya.
- Soalannya: bagaimana anda mereka bentuk titik integrasi sesebuah ejen untuk mendapat hasil terbaik?
- Empat bulan kemudian, blog HumanLayer, syarikat yang diasaskannya bersama, mengaitkan penciptaan istilah itu dengan Trivedy.
Mitchell Hashimoto · 5 Feb 2026
“Saya semakin memanggilnya kejuruteraan harness”
- Dia tidak tahu sebarang istilah yang diterima luas dalam industri, dan berkata dia akan memakainya jika ada.
- Dua bentuk, dan itulah seluruh skopnya: sebuah
AGENTS.mdyang setiap barisnya datang daripada satu tingkah laku buruk ejen, dan “alat yang benar-benar diprogramkan” seperti skrip untuk tangkapan skrin dan ujian yang ditapis. - Peraturan yang dinamakannya: apabila ejen membuat kesilapan, reka satu pembetulan supaya ia tidak mengulangi kesilapan itu.
Vivek Trivedy · LangChain · 10 Mac 2026
Ejen = Model + Harness
- “Jika anda bukan model, anda ialah harness”: setiap kod, konfigurasi dan logik pelaksanaan yang bukan model itu sendiri — sistem fail, kotak pasir, pelayar, orkestrasi, hook.
- Dia menyebut sempadan itu satu pilihan: ada “banyak cara yang bercelaru” untuk melukisnya, dan pada pendapatnya inilah yang paling kemas.
- Entri ensiklopedia, senarai terpilih, kertas penyelidikan dan penerangan vendor semuanya menggunakan maksud ini, bukan yang terdahulu.
Wikipedia · semakan 12 Sep 2026
“Infrastruktur perisian yang mengelilingi model bahasa besar”
- Ia mengurus “penggunaan alat, ingatan, kegigihan keadaan, persekitaran pelaksanaan dan gelung maklum balas, berbanding penaakulan dalaman model”.
- Ia menyatakan pengiktirafan frasa itu dipertikaikan antara Hashimoto dan Trivedy. Horthy tidak dinamakan.
- Ia mentarikhkan hantaran Anthropic tentang harness jangka panjang pada 2026. Hantaran itu menyatakan 26 November 2025.
Sekukuh mana setiap satu daripadanya? Disusun daripada apa yang ditunjukkan hantaran itu sendiri hingga apa yang disimpulkan halaman ini.
| Sekukuh mana | Apa | Berdasarkan apa |
|---|---|---|
| Dibaca di sumbernya | Horthy menggunakan frasa itu pada 4 Nov 2025, untuk kejuruteraan konteks yang diterapkan pada titik integrasi ejen sedia ada | Hantarannya di X, bercap masa |
| Dibaca di sumbernya | Hashimoto menggunakannya pada 5 Feb 2026, dengan berkata dia tidak tahu sebarang istilah yang diterima | Hantarannya sendiri, bertarikh, ditulis dengan tangan menurut katanya |
| Dibaca di sumbernya | Trivedy mentakrifkan Ejen = Model + Harness pada 10 Mac 2026 | Blog LangChain, bernama dan bertarikh |
| Dilaporkan sendiri | 52.8% kepada 66.5% pada Terminal Bench 2.0 dengan gpt-5.2-codex ditetapkan | Ejen LangChain sendiri, dilaporkan Trivedy pada 17 Feb 2026. LangChain menjual pustaka harness itu |
| Dilaporkan sendiri | Kira-kira sejuta baris kod dan lebih kurang 1,500 permintaan tarik, tiada yang ditulis dengan tangan | OpenAI tentang pasukannya sendiri, 11 Feb 2026 |
| Dipertikaikan secara bertulis | Sama ada kejuruteraan harness satu bentuk kejuruteraan konteks atau mengandunginya | Lima kenyataan menyokong yang pertama, dua yang kedua; lihat bahagian tiga |
| Dipertikaikan secara bertulis | Siapa menciptanya: HumanLayer dan Osmani kata Trivedy; Wikipedia kata Hashimoto atau Trivedy | Ketiga-tiganya ditulis selepas hantaran Horthy, dan tiada satu pun menamakannya |
| Dikaitkan, tidak dapat disemak | Opus 4.6 dalam Claude Code “mendapat skor jauh lebih rendah” daripada Opus 4.6 dalam harness lain pada Terminal Bench 2.0 | Kata-kata Trivedy. Papan pendahulu tidak lagi menyenaraikan Opus 4.6, jadi jurangnya tidak dapat dibaca di situ |
| Tafsiran halaman ini | Frasa itu dua kali bermula di pihak pengguna dan kecil, sebelum satu takrif menjadikannya segalanya kecuali model | Disusun daripada hantaran bertarikh. Tiada sumber yang menyatakannya |
Garis Masa
Kata nama, kemudian frasa, kemudian takrif, kemudian penyelidikan Setiap tarikh dibaca daripada dokumen itu sendiri.
- Okt 2022Gelung itu, sebagai kertas. Yao dan rakan menerbitkan ReAct, di mana model berselang-seli antara menaakul dan bertindak. Harness sejak itu menjalankan kitaran tersebut: model menaakul, harness bertindak dan merekod apa yang berlaku, model membaca hasilnya.
- Feb 2023Alat, sebagai kertas. Toolformer menunjukkan model bahasa belajar sendiri memanggil alat luaran melalui antara muka yang mudah.
- Dis 2024Ideanya, tanpa perkataan itu. Anthropic berhujah bahawa antara muka ejen–komputer patut diberi usaha sebanyak antara muka manusia–komputer, dan menyuruh pembina menjadikan alat mereka kalis silap — tukar argumen supaya kesilapan lebih sukar dibuat.
- 23 Sep 2025Kata nama itu mendapat takrif kerja. Trivedy, di blognya sendiri, mentakrifkan harness ejen sebagai set fungsi luaran yang meningkatkan pelaksanaan model — pengurusan konteks, alat, kebenaran, keadaan, kawalan gelung, kebolehcerapan. Frasa kejuruteraan harness tidak muncul.
- 4 Nov 2025Penggunaan terawal frasa itu yang ditemui. Dex Horthy menyiarkan bahawa dia melihat satu konsep baharu muncul, “yang akan saya namakan ‘kejuruteraan harness’”: menerapkan kejuruteraan konteks pada cara anda menggunakan ejen sedia ada. Bagi Claude Code, itu bermakna arahan, hook, skill, ejen dan pelayan MCP yang dipasang pengguna pada harness yang disertakan. Anda tidak boleh melakukan kejuruteraan harness tanpa memahami kejuruteraan konteks, tambahnya.
- 26 Nov 2025Amalannya, diterbitkan sepenuhnya. Justin Young dari Anthropic menerangkan harness untuk ejen jangka panjang: ejen pemula yang menyediakan
init.sh, fail kemajuan dan komit pertama, dan ejen pengekodan yang membuat satu ciri setiap sesi. Senarai ciri dalam JSON kerana model kurang cenderung menulis ganti JSON berbanding Markdown. Pemadatan sahaja tidak mencukupi. - 23 Jan 2026Kata nama itu sudah biasa di OpenAI. Michael Bolin, menerangkan gelung ejen Codex, menyebutnya sepintas lalu: “peranan ejen kami, atau harness, dalam memanfaatkan LLM”.
- 4 Feb 2026Tanpa sebarang penjelasan. Celia Chen dari OpenAI: aplikasi web, CLI, sambungan IDE dan aplikasi macOS “semuanya dikuasakan oleh harness Codex yang sama”.
- 5 Feb 2026Frasa itu lagi, untuk satu tabiat. Mitchell Hashimoto, menulis tentang penggunaan alat AI olehnya sendiri, sampai ke langkah yang dipanggilnya Reka Harness: dia tidak tahu istilah yang diterima, “semakin memanggilnya ‘kejuruteraan harness’”, dan akan memakai perkataan lain jika ada. Maksudnya sebuah
AGENTS.mdyang setiap barisnya menjawab satu tingkah laku buruk ejen, dan beberapa skrip. - 11 Feb 2026Frasa itu sebagai tajuk. Ryan Lopopolo dari OpenAI menerbitkan Harness engineering: lima bulan, kira-kira sejuta baris kod dan lebih kurang 1,500 permintaan tarik yang ditulis Codex tanpa kod tulisan tangan, oleh pasukan yang bertambah daripada tiga jurutera kepada tujuh. Dalam teksnya perkataan harness muncul sekali, dalam “Evaluation harnesses”. Angka itu milik OpenAI sendiri.
- 17 Feb 2026Satu pengukuran, dan satu memo. Trivedy melaporkan ejen pengekodan LangChain naik daripada 52.8% kepada 66.5% pada Terminal Bench 2.0 — daripada betul-betul di luar 30 teratas ke lima teratas — dengan gpt-5.2-codex ditetapkan: “Kami hanya menukar harness.” Pada hari yang sama Birgitta Böckeler menerbitkan memo pertama tentang kejuruteraan harness, “ketika istilah itu mula-mula muncul”.
- 10 Mac 2026Perkataan itu dijadikan sangat besar. Trivedy menerbitkan The Anatomy of an Agent Harness: Ejen = Model + Harness, setiap komponen diterbitkan secara songsang daripada satu tingkah laku — sistem fail untuk keadaan yang kekal, bash untuk autonomi, kotak pasir untuk tempat selamat bertindak, hook untuk kawalan berketentuan. Tiga puluh tiga hari selepas hantaran Hashimoto, frasa itu merangkumi segala yang bukan model.
- 12 Mac 2026Pengiktirafan pertama. HumanLayer, syarikat yang diasaskan bersama oleh Horthy, menyebut kejuruteraan harness “dicipta oleh Viv” — dan, dalam hantaran yang sama, “subset kejuruteraan konteks”.
- 24 Mac 2026Satu prinsip untuk membuang sesuatu. Prithvi Rajasekaran dari Anthropic: setiap komponen dalam harness mengekodkan andaian tentang apa yang tidak dapat dilakukan model sendiri, dan andaian itu menjadi basi apabila model bertambah baik. Dengan model yang lebih baharu, dia membuang satu lapisan penguraian tugas sepenuhnya.
- 2 Apr 2026Pihak pengguna mendapat bentuk. Rencana penuh Böckeler membahagikan harness kepada panduan yang mengemudi sebelum ejen bertindak dan penderia yang memerhati selepasnya, setiap satu berkomputasi atau berinferens, dan memisahkan bahagian harness yang sudah terbina dalam ejen pengekodan daripada harness luaran yang dibina pengguna untuknya. Petak sisinya: harness pengguna ialah satu bentuk khusus kejuruteraan konteks.
- 19 Apr 2026Satu sintesis, dan pengiktirafan kedua. Addy Osmani, di blognya sendiri, disiarkan semula oleh O'Reilly pada 15 Mei: “Viv Trivedy mencipta istilah kejuruteraan harness.” Dia membuka dengan peraturan Hashimoto, memetik formula Trivedy sebagai “ayat ringkas Viv”, dan menambah miliknya: anda hanya menambah kekangan apabila anda telah melihat kegagalan sebenar.
- Mei 2026Ia menjadi subjek penyelidikan. Sebuah kertas pendirian, 7 Mei, berhujah bahawa pada tugas panjang harness sering lebih penting daripada model, dan papan pendahulu yang membandingkan model tanpa mendedahkan harness mengelirukan. Hailin Zhong dan Shengxin Zhu, 13 Mei, memformalkan harness sebagai substrat masa jalan dengan sebelas tanggungjawab dan tangga empat peringkat.
- Jun 2026Harness yang belajar. Harness-1, 1 Jun: ejen carian 20 bilion parameter yang dilatih dengan pembelajaran pengukuhan di dalam harness yang menyimpan urusan pencatatan di luar model. Self-Harness, 8 Jun: ejen melombong kegagalannya sendiri dan menyunting harnessnya sendiri, dan dalam kesemua sembilan pasangan model dan penanda aras yang diuji hasilnya bertambah baik, dengan peningkatan relatif sehingga 132%. Databricks, 17 Jun: kejuruteraan prompt dan konteks “kedua-duanya tinggal di dalam kejuruteraan harness”.
- Julai 2026Racet itu, diautomasikan, dan bidang itu diaudit. Phantom Guardrails, 13 Julai: penyunting harness automatik, yang hanya ditunjukkan larian yang sah, menambah pagar keselamatan untuk kegagalan yang tidak pernah berlaku dalam 15 daripada 60 percubaan apabila input menyerupai peraturan yang biasa, berbanding 0 daripada 60 tanpanya. Kajian kod sumber sebelas harness pengekodan dalam pengeluaran, 15 Julai, mendapati tiada satu pun mengimport rangka kerja agentik serba guna.
- Sep 2026Ensiklopedia, dan kajian komponen. Entri Agent harness di Wikipedia, disemak pada 12 September, masih menyebut pengiktirafan itu dipertikaikan antara Hashimoto dan Trivedy dan masih mentarikhkan hantaran Anthropic November 2025 pada 2026. Pada 17 September satu kajian 176 tetapan berpasangan mendapati nilai sesuatu komponen harness bergantung pada model: perancangan meningkatkan ketepatan model yang lebih lemah dan terutamanya menjimatkan kos bagi model yang lebih kuat.
Hujah
Siapa menamakannya, dan satu perselisihan yang masih terbuka Tarikh menjawab lebih banyak persoalan kredit daripada pengiktirafan itu sendiri. Tiada yang menjawab persoalan sempadan.
Mulakan dengan apa yang tidak dipertikaikan. Sejak 10 Mac 2026 maknanya tidak berganjak: entri ensiklopedia, Databricks, Osmani dan kertas penyelidikan semuanya mengulangi takrif Trivedy. Tiga senarai komponen yang disusun berasingan — lapan blok binaan Databricks, sebelas tanggungjawab Zhong dan Zhu, dua belas primitif reka bentuk dalam sebuah senarai terpilih — memotong benda yang sama pada ketelitian berbeza dan tidak bercanggah di mana-mana.
Tentang siapa yang menamakannya, tarikh berkata lebih banyak daripada pengiktirafan. Dex Horthy menulis pada 4 November 2025 bahawa dia akan menamakan satu amalan baharu “kejuruteraan harness”. Mitchell Hashimoto menggunakan frasa itu pada 5 Februari 2026, dengan berkata dia tidak tahu istilah yang diterima. OpenAI menggunakannya sebagai tajuk pada 11 Februari. Trivedy menggunakannya pada 17 Februari dan mentakrifkannya pada 10 Mac. Pengiktirafan semuanya datang kemudian: HumanLayer pada 12 Mac — syarikat yang diasaskan bersama oleh Horthy — menyebut “dicipta oleh Viv”; Osmani pada 19 April berkata perkara yang sama; Wikipedia menyebut persoalan itu dipertikaikan antara Hashimoto dan Trivedy. Tiada satu pun daripada ketiga-tiganya menamakan hantaran Horthy. Penggunaan terawal yang ditemui bukan bukti penggunaan pertama, dan halaman ini tidak mendakwa sesiapa menciptanya. Apa yang ditunjukkan tarikh ialah perbalahan itu berkisar pada dua nama yang bukan yang pertama menggunakan frasa itu, dan mereka diiktiraf atas perkara berbeza: Hashimoto untuk nama bagi satu amalan kecil, Trivedy untuk takrif bagi satu amalan besar.
Yang dipertikaikan ialah sempadannya. Databricks: kejuruteraan prompt dan konteks “kedua-duanya tinggal di dalam kejuruteraan harness”. Wikipedia: harness “mengandungi dua yang lain sebagai bahagiannya”. Di pihak yang satu lagi ada lima kenyataan. Penggunaan pertama Horthy mentakrifkan kejuruteraan harness sebagai penerapan prinsip kejuruteraan konteks pada ejen sedia ada. Trivedy menulis pada Februari bahawa sebahagian kejuruteraan harness ialah membina “mekanisme penghantaran yang baik untuk kejuruteraan konteks”, dan pada Mac bahawa harness hari ini “sebahagian besarnya mekanisme penghantaran kejuruteraan konteks yang baik”. HumanLayer menyebutnya “subset kejuruteraan konteks”. Böckeler: mereka bentuk harness pengguna untuk ejen pengekodan ialah “satu bentuk khusus kejuruteraan konteks” — dan Wikipedia memetik dia untuk ayat tentang kandungan itu. Satu tafsiran, dan hanya tafsiran: pihak subset ialah maksud frasa itu ketika mula-mula digunakan, dan pihak bekas tiba bersama peluasan pada Mac. Tiada sumber yang mendamaikan kedua-duanya, dan halaman ini tidak mereka suatu konsensus yang tidak pernah diterbitkan sesiapa.
Jejak dokumennya masih muda dan tergelincir. Rujukan Wikipedia bagi hantaran Anthropic tentang harness jangka panjang memberi tahun 2026; hantaran itu bertarikh 26 November 2025, tiga minggu selepas penggunaan Horthy dan sebelum setiap penggunaan lain frasa itu yang ditemui. Tarikh itulah sebab hantaran itu penting, dan petikan itu menghilangkannya.
- 93hari antara penggunaan terawal frasa itu yang ditemui dan penggunaan yang dinamakan ensiklopedia dahulu
- 1kemunculan perkataan harness dalam teks hantaran OpenAI bertajuk Harness engineering — dalam “Evaluation harnesses”
- 5 : 2kenyataan bertulis yang meletakkan kejuruteraan harness di dalam kejuruteraan konteks, berbanding yang meletakkan kejuruteraan konteks di dalamnya
Apa Yang Ditambah Orang Lain
Apa yang sebenarnya anda bina Böckeler memberikan bentuknya; Anthropic dan OpenAI memberikan contoh terkerja.
- 1Letakkan panduan di hadapan ejenKawalan suap depan: fail arahan, skill, skrip permulaan, pengubahsuaian kod. Ia mengemudi sebelum ejen bertindak. Amaran Böckeler: harness yang hanya ada ini mengekodkan peraturan tetapi tidak pernah tahu sama ada ia berkesan.
- 2Letakkan penderia di belakangnyaKawalan maklum balas: ujian, linter, penyemak jenis, ejen penyemak. Penderia patut menulis untuk pembacanya — mesej linter yang memberitahu model cara membetulkan masalah ialah, dalam kata-kata Böckeler, sejenis suntikan prompt yang positif. OpenAI melakukan perkara sama dengan lint tersuai yang mesej ralatnya membawa penyelesaian. Harness yang hanya ada penderia mengulangi kesilapannya.
- 3Ketahui jenis setiap kawalanKawalan berkomputasi berketentuan dan pantas — ujian, linter, analisis struktur, milisaat hingga saat, boleh dipercayai. Kawalan berinferens bersifat semantik — semakan AI, “LLM sebagai hakim” — lebih perlahan, lebih mahal dan tidak berketentuan. Penderia berkomputasi yang murah boleh dijalankan pada setiap perubahan; yang berinferens perlu membuktikan tempatnya.
- 4Tulis keadaan di tempat model tidak akan menelannyaContoh terkerja Anthropic: senarai ciri lebih 200 huraian hujung ke hujung, semuanya bermula sebagai gagal, yang hanya boleh diubah ejen dengan menukar medan
passes— JSON dan bukan Markdown, kerana model kurang cenderung menulis ganti JSON — ditambah fail kemajuan dan satu komit pada akhir setiap sesi. OpenAI mengekalkanAGENTS.mdsekitar 100 baris dan menganggapnya sebagai jadual kandungan ke direktoridocs/. - 5Jadikan setiap kesilapan satu peraturan — dengan tanganPeraturan Hashimoto: apabila ejen membuat kesilapan, reka pembetulan supaya ia tidak mengulanginya. Osmani menambah brek: hanya tambah kekangan setelah anda melihat kegagalan sebenar. Apabila diautomasikan, brek itu tergelincir — penyunting harness automatik yang hanya ditunjukkan larian sah mereka satu kegagalan dan menambah pagar keselamatan untuknya dalam 15 daripada 60 percubaan.
Adakah mana-mana daripadanya berkesan? Buktinya, dinilai Tiga menetapkan model dan mengukur. Satu berhujah. Satu turut menukar model.
| Dakwaan | Cara ia diukur | Nilainya |
|---|---|---|
| Terminal Bench 2.0 | 52.8% kepada 66.5%, 13.7 mata, pada 89 tugas, dengan gpt-5.2-codex ditetapkan dan prompt, alat serta middleware ditukar | Bentuk yang betul. Dilaporkan sendiri oleh LangChain tentang ejennya; LangChain menjual pustaka harness itu. Bajet penaakulan sahaja juga penting: 53.9% pada tetapan tertinggi berbanding 63.6% satu tahap di bawahnya, kerana tamat masa |
| Self-Harness | Tiga model daripada keluarga berbeza, tiga penanda aras; ejen menyunting harnessnya sendiri, dan suntingan hanya dikekalkan selepas ujian regresi | Kesemua sembilan gabungan bertambah baik, peningkatan relatif sehingga 132%. Model ditetapkan; pracetak, dibaca pada abstraknya |
| 176 tetapan berpasangan | Gelung tetap dengan perancangan, alat dan pengurusan konteks diubah, empat model, dua penanda aras pengekodan | Nilai sesuatu komponen bergantung pada model. Perancangan meningkatkan ketepatan model yang lebih lemah dan terutamanya menjimatkan kos bagi yang lebih kuat; model yang mahir bash sama baiknya dengan bash sahaja, pada kos lebih rendah. Pracetak, dibaca pada abstraknya |
| Harness berbanding model | Kertas pendirian: formalisasi, keputusan yang diterbitkan dan penguraian varians | Berhujah varians akibat harness boleh melebihi varians akibat model, sehingga menterbalikkan kedudukan model. Satu hujah, bukan pengukuran baharu; dibaca pada abstraknya |
| OfficeQA Pro | 52.63% dengan GPT-5.5 dan harness itu, “naik daripada 36.10% dengan GPT-5.4” | Tidak mengasingkan harness — model turut bertukar dalam langkah yang sama. Dan “mengurangkan ralat hampir separuh” tidak menyusul: 63.90% kepada 47.37% ialah kira-kira satu perempat |
Perbandingan yang menetapkan model ialah yang penting, dan wajar dijelaskan dengan tepat sebabnya. Hampir setiap sumber di sini mendakwa harness sama penting dengan model atau lebih, dan kebanyakannya menjual sesuatu. Perbandingan yang menetapkan model dan hanya mengubah harness bukan satu dakwaan — ia eksperimen yang diperlukan oleh dakwaan itu. Perbandingan LangChain dilaporkan sendiri; Self-Harness dan kajian komponen ialah pracetak yang dibaca pada abstraknya. Bersama-sama ia menyokong dakwaan yang lebih sempit daripada yang dibuat penyokongnya: harness menggerakkan skor, dan nilai sesuatu bahagian bergantung pada model yang ada di dalamnya. Angka Databricks, yang menukar model dan harness serentak, tidak dapat menunjukkan itu pun.
Bidang ini juga berhujah menentang dirinya sendiri, dan hujah itu lebih bernilai daripada sokongannya. Trivedy, yang mentakrifkan disiplin itu, menulis bahawa apabila model menjadi lebih baik dalam perancangan, pengesahan kendiri dan tugas panjang, kerja yang kini dilakukan harness akan berpindah ke dalam model — “harness sepatutnya semakin kurang penting dari masa ke masa”. Dia menamakan masalah kedua: ejen pengekodan dilatih lanjut dengan harness mereka dalam gelung, jadi model lebih berkebolehan di dalam harness yang digunakan semasa latihannya, dan menukar logik sesuatu alat boleh memburukkannya. Dia menyebutnya pemadanan lampau. Rajasekaran dari Anthropic menyatakan sisi penyelenggaraan dengan terang: setiap komponen mengekodkan andaian tentang apa yang tidak dapat dilakukan model, dan andaian itu menjadi basi — jadi harness perlu kehilangan bahagian dan juga menambahnya.
Penyelidikan terbaharu menambah dua peringatan. Kajian sebelas harness pengekodan dalam pengeluaran mendapati tiada satu pun mengimport rangka kerja agentik serba guna: bidang ini berjalan pada gelung buatan tangan, apa pun yang dijual vendor rangka kerja. Dan racet di tengah-tengah peraturan Hashimoto — setiap kesilapan menjadi peraturan kekal — mempunyai mod kegagalan apabila mesin yang menjalankannya. Dengan hanya larian sah di hadapannya, penyunting harness automatik mereka kegagalan dan menambah pagar keselamatan untuknya; di dalam gelung yang hanya menambah, pagar keselamatan hantu, sekali masuk, kekal di situ.
- 13.7mata yang diperoleh dengan gpt-5.2-codex ditetapkan — angka LangChain sendiri untuk ejennya sendiri
- 15/60percubaan di mana penyunting harness automatik menambah pagar keselamatan untuk kegagalan yang tidak pernah berlaku, apabila input menyerupai peraturan yang biasa; 0/60 apabila tidak
- 0 daripada 11harness pengekodan dalam pengeluaran yang masa jalannya mengimport rangka kerja agentik serba guna
Kesimpulan
Apa yang perlu diambil daripada ini Lima perkara, mengikut susunan kepentingannya.
Sesebuah perkataan boleh bertukar saiz lebih cepat daripada ia bertukar makna
Dua kali frasa itu digunakan untuk sesuatu yang kecil dan di pihak pengguna: titik integrasi Horthy pada November 2025, fail arahan dan skrip Hashimoto pada Februari 2026. Pada 10 Mac Trivedy melekatkannya pada segala yang bukan model, dan takrif yang ditulis sejak itu bermula daripada takrifnya. Tiada siapa mempertikaikan peluasan itu; ia hanya menggantikan maksud yang terdahulu.
Tetapkan model, atau anda tidak mengukur apa-apa
Dakwaan bahawa harness penting kini disokong oleh perbandingan yang berbentuk betul — 13.7 mata yang dilaporkan sendiri oleh LangChain, sembilan daripada sembilan Self-Harness, kajian komponen 176 tetapan. Ia juga menyatakan sesuatu yang tidak disebut penyokongnya: komponen yang sama membantu satu model dan hanya menjimatkan kos bagi model lain. Angka yang menukar model dan harness serentak, seperti angka Databricks, tidak menunjukkan kedua-duanya.
Terawal ditemui bukan yang pertama, dan kredit ialah dua soalan
Kepustakaan berbalah antara Hashimoto dan Trivedy. Penggunaan terawal yang ditemui ialah oleh Horthy, 93 hari sebelum Hashimoto, dan tiada pengiktirafan yang menyebutnya. Dua nama yang biasa itu pun menjawab soalan berbeza: siapa yang menamakan satu tabiat kecil, dan siapa yang mentakrifkan perkara besar yang dimaksudkannya kini.
Tanya susunan bersarang yang mana dimaksudkan
Takrifnya sudah tetap; sempadannya belum. Databricks dan Wikipedia meletakkan kejuruteraan prompt dan konteks di dalam kejuruteraan harness. Horthy, Trivedy sendiri, HumanLayer dan Böckeler meletakkan kejuruteraan harness di dalam kejuruteraan konteks, atau menyebutnya mekanisme penghantarannya. Kedua-dua tafsiran telah diterbitkan, tiada yang didamaikan, dan dakwaan tentang skop bermaksud perkara berbeza di bawah setiap satu.
Setiap peraturan ialah andaian yang ada tarikh luputnya
Racet menambah satu peraturan bagi setiap kesilapan. Nasihat Anthropic ialah separuh lagi: setiap komponen mengekodkan andaian tentang apa yang tidak dapat dilakukan model, dan patut dibuang apabila model sudah boleh. Trivedy menjangka harness semakin kurang penting dari masa ke masa. Dan racet automatik sudah didapati menambah peraturan untuk kegagalan yang tidak pernah berlaku. Harness yang hanya membesar bukan sedang direka bentuk.
Perkara yang tidak dapat disahkan
Laporan belum disahkan — bahawa pada Terminal Bench 2.0 Opus 4.6 berada kira-kira di tempat ke-33 di dalam Claude Code dan kira-kira ke-5 di dalam harness lain, lebih kurang empat tempat. HumanLayer memberi kedudukan itu, mengulangi Trivedy, yang hanya berkata “jauh lebih rendah”. Papan pendahulu tidak lagi menyenaraikan Opus 4.6, dan tiada huraian lain tentang kedudukan itu ditemui.
Pesanan utama dan sumber
- Yao et al., ReAct, arXiv (6 Okt 2022)
- Schick et al., Toolformer, arXiv (9 Feb 2023)
- Erik S. dan Barry Zhang, Anthropic (19 Dis 2024)
- Vivek Trivedy, vtrivedy.com (23 Sep 2025)
- Dex Horthy di X (4 Nov 2025)
- Justin Young, Anthropic (26 Nov 2025)
- Michael Bolin, OpenAI (23 Jan 2026)
- Celia Chen, OpenAI (4 Feb 2026)
- Mitchell Hashimoto, mitchellh.com (5 Feb 2026)
- Ryan Lopopolo, OpenAI (11 Feb 2026)
- Vivek Trivedy di X (17 Feb 2026)
- Vivek Trivedy, LangChain (10 Mac 2026)
- HumanLayer (12 Mac 2026)
- Prithvi Rajasekaran, Anthropic (24 Mac 2026)
- Birgitta Böckeler, martinfowler.com (2 Apr 2026)
- Addy Osmani, AddyOsmani.com (19 Apr 2026; O'Reilly Radar, 15 Mei 2026)
- Zhang et al., arXiv (7 Mei 2026)
- Hailin Zhong dan Shengxin Zhu, arXiv (13 Mei 2026)
- Jiang et al., Harness-1, arXiv (1 Jun 2026)
- Zhang et al., Self-Harness, arXiv (8 Jun 2026)
- Databricks (17 Jun 2026)
- Wang et al., Phantom Guardrails, arXiv (13 Julai 2026)
- Barbaste et al., arXiv (15 Julai 2026)
- ai-boost, awesome-harness-engineering, GitHub
- Agent harness, Wikipedia (semakan 12 Sep 2026)
- Fan et al., arXiv (17 Sep 2026). Semuanya dibaca pada 28 Sep 2026. Istilah ini ialah salah satu daripada lima yang diliputi topik tetap Kejuruteraan LLM, yang meletakkannya di sisi empat yang lain.