모델 추론 속도를 “도구 하나”로 깔끔히 재고, CPU EP vs OpenVINO EP 같은 실행 프로바이더(EP) 성능을 바로 비교하는 방법을 소개한다.

ONNX/ONNX Runtime(ORT) 최적화본, OpenVINO 캐시를 “무엇을, 언제, 어떻게” 내보낼지 정리

다음은 TTS/트랜스포머 계열 모델의 CPU 추론에서 ONNX Runtime(ORT) CPU EP vs OpenVINO EP를 고르는 빠른 기준

모델 파일 경로 대신 “메모리 버퍼”에서 바로 ONNX 세션을 만드는 방법을 정리했다. 배포/보안/크로스플랫폼에서 꽤 유용하다.

Google, Gemini 3 발표 — Pro 프리뷰 공개

딥러닝 프레임워크가 달라도 모델을 “옮겨 쓰게” 만든 표준이 ONNX이고, 이게 조용히 업계의 공동어가 되었다

ONNX Runtime의 C API를 쓸 때는 “요청한 API 버전과 런타임의 실제 버전이 맞는지”를 먼저 확인해야 한다

ONNX Runtime로 CPU 추론 튜닝할 때 꼭 알아두면 좋은 “기본기 + 바로 쓰는 옵션”을 정리했다가 공유한다.

gpt-4o-transcribe-diarize로 화자 분리 전사 + 화자별 하이라이트/노트 자동 생성입니다. 회의·인터뷰·팟캐스트처럼 여러 사람이 말하는 오디오를 넣으면, 누가 무엇을 말했는지 분리해서 텍스트로 만들고, 각 화자별 핵심 요약/액션 아이템까지 뽑아냅니다.

GPT‑4o Transcribe Diarize는 음성인식 뿐만 아니라 ‘화자 식별(발화 구간별 스피커 라벨링)’ 기능까지 갖춘 새로운 ASR(자동음성인식) 모델이다.

Google이 2025년 11월, 차세대 인공지능 모델 Gemini 3를 공개하며 검색 경험을 “생각하는 파트너(thought partner)”로 바꾸려는 야심을 드러냈다.

I/O 바인딩으로 메모리 복사 줄이기 ONNX Runtime에서 I/O Binding은 입력·출력 텐서를 실행 전에 원하는 메모리(예: GPU 버퍼)에 “바인딩”해 런타임의 불필요한 복사와 동기화를 줄여 지연시간을 낮추는 기법소개

소프트웨어 인프라 측면에서 정말 흥미로운 변화가 ONNX Runtime v1.23 계열에 등장했다는 점을 공유하고자 한다.