Harness Design Cho Long-Running AI Agent: Best Pattern 2026

Khi xây dựng AI agent chạy ngắn vài phút, đơn giản: dispatch task, đợi kết quả, return output. Khi agent phải chạy giờ hoặc ngày liên tục cho task phức tạp như code refactor lớn, research deep, hoặc software project autonomous, bài toán hoàn toàn khác. Bạn cần “harness” – khung điều khiển bao quanh agent để handle state persistence, crash recovery, telemetry, và safety guardrail. Bài đăng “Harness Design for Long-Running Application Development” trên Anthropic Engineering của Anthropic Engineering xuất bản 24 tháng ba năm 2026 là tài liệu kỹ thuật chi tiết nhất về pattern này.

Bài viết này dịch và mở rộng harness design pattern với context Việt Nam, phân tích 5 component bắt buộc cho long-running agent, mô tả pattern code cụ thể, đưa ra checklist production-ready, và FAQ.

Vì Sao Long-Running Agent Cần Harness Design?

Agent chạy ngắn (dưới 5 phút) thường chạy trong một process duy nhất, một context window, một loop đơn giản. Nếu fail, restart từ đầu mất ít thời gian. Pattern này hoàn toàn không scale được cho agent chạy hours hoặc days. Ba lý do cụ thể.

Một, context window 200K token cạn sau khoảng 30-60 phút conversation dài. Agent cần mechanism compact state, swap context, hoặc serialize-deserialize state ra ngoài context để chạy tiếp. Hai, mọi long-running process đều có rủi ro crash (network drop, OOM, OS reboot, dependency timeout). Agent chạy 4 tiếng mà crash ở giờ thứ 3 mà không có resume capability nghĩa là mất 3 tiếng work và toàn bộ token đã đốt.

Ba, agent chạy giờ tới ngày có rủi ro runaway behavior (loop vô tận, đốt quota tăng theo cấp số nhân). Cần guardrail giới hạn budget, time, tool call rate. Không có guardrail, một bug nhỏ trong agent logic có thể đốt 1000 USD chỉ trong vài tiếng. Pattern này tương tự cảnh báo trong ANTHROPIC_API_KEY trap silent billing nhưng scale lớn hơn.

5 Component Của Harness Design Là Gì?

Component 1: Control Loop. Vòng lặp chính của agent. Trong mỗi iteration, harness check: agent có cần human approval không, budget còn không, có signal stop không, sau đó dispatch next step cho agent. Control loop là central orchestrator, mọi quyết định khác đều đi qua nó.

Component 2: State Persistence. Lưu trạng thái agent vào storage bền (database hoặc disk) mỗi N step. State bao gồm: conversation history, tool call log, intermediate results, metadata. Persist mỗi 5-10 step thay vì chỉ end-of-task. Nếu agent chạy 1000 step và crash ở step 800, resume từ step 800 chứ không phải step 0.

Component 3: Crash Recovery. Khi agent crash, harness tự restart từ state đã persist gần nhất. Recovery logic phải handle các edge case: partial output đã ghi disk, tool call đã trigger nhưng chưa ack, lock files. Pattern an toàn: write-ahead log mọi side effect trước khi execute.

Component 4: Telemetry. Log structured data về mọi quyết định, tool call, token consumption, errors. Telemetry chảy về central log aggregator (Datadog, Honeycomb, hoặc self-hosted) để monitor realtime. Dashboard hiển thị: tokens spent, tool calls per minute, error rate, ETA tới complete. Đọc thêm Agent View dashboard cho local monitoring.

Component 5: Guardrails. Hard limit để agent không runaway: max budget tổng (USD), max budget per step, max time, max tool call rate, allowed tool list, forbidden actions. Khi guardrail trigger, harness halt agent immediately và alert human. Đây là safety mechanism cuối cùng tránh thiệt hại tài chính hoặc operational lớn.

Pattern Code Harness Design Như Thế Nào?

Pattern code Python đơn giản nhất khoảng 200 dòng, đủ cho prototype. Skeleton:

class AgentHarness:
    def __init__(self, agent_id, state_store, telemetry, guardrails):
        self.agent_id = agent_id
        self.state = state_store  # PostgreSQL, Redis, or local JSON
        self.telemetry = telemetry  # Structured logger
        self.guardrails = guardrails  # Budget + safety limits

    def run(self, initial_task):
        state = self.state.load(self.agent_id) or initial_state(initial_task)
        while not state.done:
            # Component 5: Check guardrails first
            if self.guardrails.exceeded(state):
                self.telemetry.alert("guardrail_triggered", state)
                return state
            # Component 1: Control loop
            next_step = self.agent.plan(state)
            # Component 4: Telemetry
            self.telemetry.log("step_start", next_step)
            try:
                result = self.agent.execute(next_step)
                state.update(result)
            except Exception as e:
                # Component 3: Crash recovery prep
                state.mark_failed(e)
            # Component 2: Persist state every step
            if state.step_count % 5 == 0:
                self.state.save(self.agent_id, state)
        return state

Đoạn code trên là skeleton tối thiểu. Production-ready harness cần thêm: distributed locking nếu multi-instance, event sourcing cho audit trail, integration với Sentry để alert critical errors, batched telemetry để giảm overhead.

Đối với Managed Agents Anthropic, hệ thống ship sẵn harness ready-to-use, dev không phải build from scratch. Tuy nhiên hiểu pattern vẫn quan trọng để debug khi Managed Agents fail hoặc cần custom guardrails.

Production Checklist 10 Mục Cho Harness Design?

Anthropic Engineering đưa ra checklist 10 mục bắt buộc trước khi ship long-running agent vào production:

1. State persistence mỗi 5-10 step (không phải chỉ end-of-task) 2. Write-ahead log mọi side effect (tool call, file write, API call ngoài) 3. Crash recovery test (kill -9 agent ở random step, verify resume hoạt động) 4. Budget guardrails: max total USD, max per step, alert ở 50%/75%/90% 5. Time guardrails: max wall-clock time, max step count 6. Tool allowlist: explicit list tool được dùng, deny by default 7. Forbidden actions list: rm -rf, git force push, send email, etc. blocked 8. Telemetry to central log: structured JSON, query-able 9. Alert on guardrail trigger qua Slack/PagerDuty không phải email 10. Human approval gate cho high-risk action (deploy, merge to main, send to customer)

Mỗi mục đều có lý do thực tế từ post-mortem của các incident production. Ví dụ mục 9 “alert qua Slack/PagerDuty không email” xuất phát từ case dev không check email cuối tuần, agent chạy runaway đốt 800 USD trong 12 tiếng trước khi phát hiện. Slack realtime alert đã prevent incident tương tự sau khi áp dụng.

Khi Nào KHÔNG Cần Full Harness?

Ba trường hợp không cần full 5-component harness. Một, agent chạy dưới 5 phút có thể skip state persistence và crash recovery (restart từ đầu rẻ hơn maintain harness). Pattern: try/except đơn giản với log error đủ rồi.

Hai, agent chạy trong sandbox isolated (Docker container expendable). Sandbox tự reset khi crash, không cần explicit recovery logic. Vẫn cần telemetry và guardrails để monitor cost.

Ba, agent prototype hoặc internal tool dev-only (không phục vụ khách hàng). Có thể skip 7-10 trong checklist (forbidden actions list, human approval gate) để move fast. Tuy nhiên state persistence và budget guardrails vẫn nên có vì runaway risk không phụ thuộc môi trường.

Câu Hỏi Thường Gặp

Harness Design Có Phải Là Framework Cụ Thể Không?

Không, harness design là pattern architecture chứ không phải framework. Có thể implement bằng Python thuần, hoặc dùng general workflow engine như Temporal, Airflow, Celery. Anthropic Engineering recommend implement từ scratch cho dự án nhỏ-trung bình để hiểu pattern, dùng framework khi scale lên 10+ agent song song hoặc cần distributed deployment.

State Persist Bằng Database Hay File?

Tuỳ scale. Dưới 100 agent concurrent: local JSON file đủ. 100-1000: PostgreSQL hoặc Redis. Trên 1000: distributed cache như DynamoDB hoặc Cassandra. Anthropic dùng custom state store backed by S3 cho Managed Agents production. Pattern an toàn: tách state store ra service riêng để scale independent với agent compute.

Telemetry Có Tốn Token Của Agent Không?

Không, telemetry là client-side instrumentation, không gửi qua LLM. Chỉ tốn CPU cost của process agent. Pattern tốt: batch telemetry events mỗi 10 giây thay vì gửi từng event để giảm IO overhead. Đối với production, dùng async logger để không block control loop.

Guardrails Có Slow Down Agent Không?

Có chút, mỗi step check guardrail thêm 1-5ms overhead. Đối với agent chạy hours, overhead này negligible. Đối với agent chạy seconds, có thể skip một số guardrail check nếu cần performance. Pattern an toàn: keep budget check mỗi step (cost-critical), check forbidden action chỉ trước tool call (rare path).

Cần Bao Lâu Để Build Harness Production-Ready?

Skeleton MVP: 1-2 tuần cho dev experienced. Production-ready với checklist 10 mục: 1-2 tháng full team. Anthropic dành 3-4 tháng build first version Managed Agents harness. Đối với dự án nhỏ tự build, cân nhắc dùng Managed Agents thay vì build từ đầu. Đọc thêm đánh giá AI agent eval framework để build eval pipeline cho harness.

Bạn Có Nên Build Harness Cho Dự Án Của Mình?

Quyết định phụ thuộc câu hỏi đơn giản: agent của bạn chạy bao lâu? Dưới 5 phút: skip harness, dùng try/except. 5-60 phút: build basic harness với state persistence + recovery. Trên 1 tiếng: full harness 5 component bắt buộc.

Đối với startup hoặc team nhỏ không có infra team riêng, cân nhắc dùng Managed Agents thay vì build harness từ scratch. Build skeleton phải tốn 1-2 tuần, maintain hardness cần dev riêng. Managed Agents trade-off: tốn USD nhưng tiết kiệm engineering time đáng kể.

Đọc thêm các pattern liên quan trong cluster ongboit: Xây dựng AI agent hiệu quả 6 pattern cho theory tổng quát, Parallel Claudes case study cho pattern multi-agent ngắn-trung bình, Multi-Agent Research System cho kiến trúc orchestrator-workers ở production scale, đánh giá AI agent eval framework để verify harness hoạt động đúng.