LLM X/Twitter
Responses API WebSockets 도입, agent loop 지연 최대 40% 절감
중요한 점은 model이 빨라져도 orchestration 비용이 이득을 잡아먹을 수 있다는 데 있다. OpenAI는 WebSocket 모드로 agent workflow를 종단 간 최대 40% 줄였고, 체감 추론 속도도 초당 약 65토큰에서 1,000토큰에 가깝게 끌어올렸다고 적었다.
2분 소요 43 조회
태그
#websockets
#websockets 태그가 달린 기사
LLM
Responses API에 WebSocket… OpenAI agent loop 최대 40% 단축
병목이 GPU에서 API 계층으로 옮겨가자 OpenAI는 전송 방식을 손봤다. Responses API에 WebSocket 모드와 연결 범위 캐시를 넣으면서 agent workflow가 end-to-end 기준 최대 40% 빨라졌고, GPT-5.3-Codex-Spark는 1,000 TPS와 최대 4,000 TPS burst에 도달했다고 한다.
2분 소요 41 조회