덕삼
블로그

LLM 라우터는 모델을 둘 이상 쓸 때 값을 한다 — OpenRouter·OrcaRouter 7주 실측

· 수정 2026-11-18

모델 회사의 API 에 직접 붙으면 되는데, 왜 중간에 LLM 라우터를 둘까요?

답부터 적습니다. 모델을 둘 이상 쓰거나 자주 바꾼다면 라우터를 두는 편이 낫습니다. 주소 하나와 키 하나로 여러 회사 모델을 부르고, 한 곳이 막히면 다음 곳으로 넘깁니다. 모델을 하나만 쓴다면 그 회사 API 에 직접 붙는 편이 낫습니다. 옛 글에서 두 가지는 틀렸습니다. 같은 모델 이름이면 품질이 같다고 적었고, 단가를 한 가지로 적었습니다. 아래 수치는 제 게이트웨이 설정과 작업 기록에서 가져왔고, 공식 페이지는 2026-11-18 에 다시 확인했습니다.

편지 분류 로봇이 요청이라고 적힌 편지를 받아 레일 네 갈래 가운데 하나로 보낸다. 첫째 OpenRouter 레일에는 막힘 팻말과 차단봉이 서 있고, 로봇은 레버를 당겨 편지를 둘째 OrcaRouter 레일로 돌린다. 셋째와 넷째 레일에는 집 서버와 Upstage 라고 적혀 있다

그림으로 줄이면 이렇습니다. 라우터 앞의 분류 로봇은 막힌 레일을 만나면 레버를 당겨 다음 레일로 보냅니다.

라우터는 여러 제공사 앞에 서는 중계 API 입니다

OpenRouter 와 OrcaRouter 가 그런 서비스입니다. 저는 2026-10-01 에 두 서비스를 집 서버의 게이트웨이 뒤에 붙였습니다. 이 게이트웨이는 제공사 9개와 라우트 18개를 설정 파일 하나로 묶습니다.

코드를 그대로 두고 모델을 바꿉니다

두 서비스 모두 OpenAI 호환 API 입니다. 주소(base_url)와 모델 이름만 바꾸면 기존 코드가 돕니다. OpenRouter 문서는 “You can also use the OpenAI SDK pointed at OpenRouter as a drop-in replacement.” 라고 적습니다. 제 설정에서 두 서비스는 주소만 다르고 모델 이름은 같습니다.

[providers.openrouter]
base_url = "https://openrouter.ai/api/v1"
model    = "deepseek/deepseek-v4.1-flash"

[providers.orcarouter]
base_url = "https://api.orcarouter.ai/v1"
model    = "deepseek/deepseek-v4.1-flash"

Claude Code 도 환경 변수 세 개로 OpenRouter 의 모델에 붙습니다.

ANTHROPIC_BASE_URL="https://openrouter.ai/api"
ANTHROPIC_AUTH_TOKEN="$OPENROUTER_API_KEY"
ANTHROPIC_API_KEY=""

ANTHROPIC_API_KEY 는 비워 둡니다. OpenRouter 문서에 따르면 이 값에 실제 키가 있으면 Claude Code 가 그 키를 앤트로픽 자격 증명으로 보냅니다. 그러면 OpenRouter 대신 앤트로픽에 인증할 수 있습니다.

토큰값에 마진은 없지만, 단가는 한 가지가 아닙니다

두 서비스 모두 토큰 단가에 마진을 붙이지 않는다고 밝힙니다.

토큰 단가따로 내는 돈
OpenRouter“there is no markup on inference pricing”크레딧 충전 수수료 5.5%(최소 $0.80). Business 요금제는 8%
OrcaRouter“We never mark up the tokens you buy”개인용 Hacker 무료, 팀 기능 Team 월 $499

마진이 없다는 말이 단가가 하나라는 뜻은 아니었습니다. 제가 쓰는 deepseek/deepseek-v4.1-flash 의 100만 토큰당 가격을 2026-11-18 에 두 서비스의 공개 모델 목록에서 봤습니다.

출처입력출력
OrcaRouter 모델 목록$0.15$0.60
OpenRouter 모델 목록의 대표 가격$0.30$1.20
OpenRouter 의 제공사 37곳$0.0507~$3$0.2028~$12

옛 글은 $0.15/$0.60 하나만 적었습니다. 그건 OrcaRouter 의 값입니다. OpenRouter 는 같은 모델을 여러 제공사에서 받고, 제공사마다 값이 다릅니다. 제 게이트웨이 설정에는 두 곳 모두 $0.15/$0.60 으로 적혀 있어 이것도 고칠 대상입니다. 실제로 낸 단가는 이번에 집계하지 못했습니다.

한 곳이 막혀도 다음으로 넘어갑니다 — 실제로 그랬습니다

OpenRouter 는 제공사 단위로 폴백합니다. FAQ 는 “If a provider returns an error OpenRouter will automatically fall back to the next provider.” 라고 적습니다. 라우터 자체가 멈출 때를 대비해 저는 게이트웨이에서 한 겹 더 묶었습니다. 용도마다 순서가 다릅니다.

라우트순서
문서 생성OpenRouter → OrcaRouter → 집 서버 Qwen → Upstage → Claude Sonnet → Claude Opus
코딩 에이전트 기본 모델OrcaRouter 무료 → OrcaRouter 유료 → OpenRouter
뉴스 분류Upstage → 집 서버 Qwen → OpenRouter

뉴스 분류의 셋째 줄은 사고 뒤에 붙었습니다. 2026-11-17 23:05 에 Upstage 키가 크레딧 소진으로 정지됐습니다(403). 같은 시각 집 서버의 Qwen 도 내려가 있어 뉴스 분류가 전부 실패했습니다. 그날 23:58 에 OpenRouter 를 셋째로 붙였습니다. 폴백은 둘 다 막히는 날을 위해 둡니다.

게이트웨이는 429·5xx·네트워크 오류만 기다렸다가 재시도합니다. 402·403 같은 4xx 는 재시도하지 않고 바로 다음 단계로 넘깁니다.

같은 모델 이름이어도 결과는 같지 않았습니다

옛 글은 “1번과 2번이 같은 모델 이름을 쓰므로 응답 품질이 바뀌지 않는다"고 적었습니다. 재 보니 아니었습니다. 문서 생성 라우트의 순서를 정하려고 업무 프롬프트와 검증기로 채점했습니다(설명 문장 60건, 검토 문서 26건).

측정OpenRouterOrcaRouter 무료OrcaRouter 유료
설명 문장 통과율76.7%13.3%56.7%
검토 문서 통과율96.2%92.3%100%
첫 토큰(입력 약 5.5만, 10회 중앙값)1.48초재지 않음3.04초
최근 7일 응답 p503,926ms재지 않음7,252ms

통과율은 2026-10-26 무렵, 첫 토큰은 2026-11-17 에 쟀습니다. OrcaRouter 유료의 통과율은 결제 뒤 다시 잰 값이라 OpenRouter 와 같은 날의 값이 아닙니다. 첫 토큰을 잴 때 OrcaRouter 쪽에는 실제 요청이 함께 들어가고 있었습니다.

해석은 이렇습니다. 라우터 뒤에서 실제로 답하는 제공사와 설정이 다르면, 이름이 같아도 결과가 다를 수 있습니다. 차이의 원인은 확인하지 못했습니다. 그래서 순서는 이름이 아니라 내 업무로 잰 값으로 정합니다. 다만 코딩 에이전트 라우트는 더 느린 OrcaRouter 유료를 둘째에 뒀습니다. 무료 한도가 차면 같은 회사 유료로 먼저 넘기려고 알고 정한 순서입니다.

키 하나에 한도를 겁니다

제공사마다 계정과 카드를 등록하지 않아도 됩니다. OpenRouter 는 키마다 지출 한도를 걸고, 남은 한도를 GET https://openrouter.ai/api/v1/key 로 봅니다. 짧게 쓸 키는 만들 때 expires_at 을 정하라고 문서가 권합니다. 실수로 반복 호출이 돌아도 손실은 그 한도에서 멈춥니다.

모델 비교가 싸고 빠릅니다

2026-10-05 에 OrcaRouter 로 이미지 한 장(512×514)을 비전 모델 여러 개에 보내 입력 토큰을 쟀습니다.

모델이미지 1장의 입력 토큰
gemma-4-26b334
qwen3-vl-8b337
gpt-4.1-nano200~740
gemini-3.1-flash-lite1,150
gemini-2.5-flash-lite1,350
gpt-4o-mini8,500~14,200

같은 이미지인데 토큰 수가 최대 40배 넘게 차이 납니다. 토큰당 단가가 싸다고 한 번 부르는 값이 싸지는 않습니다. 정확도는 정답 표본이 없어 비교하지 못했습니다.

주의할 점은 무료 한도, 선불, 데이터 경로입니다

무료 모델은 시험용입니다. OpenRouter 의 :free 모델은 분당 20회, 하루 50회입니다. 크레딧을 10 이상 산 계정은 하루 1,000회입니다. 무료 모델에서는 제공사 쪽 429 가 잦았고, 쓰던 무료 모델이 목록에서 빠지기도 했습니다. OrcaRouter 무료는 한도를 다 쓰면 402 를 돌려줍니다. 2026-11-17 에는 14:02:52 에 하루 800건이 찼습니다. 그래서 무료 제공사를 유료와 따로 등록해, 무료 쪽 429 가 유료 경로의 차단기를 열지 않게 했습니다.

선불 크레딧이 떨어지면 바로 멈춥니다. 2026-10-01 에 받은 OrcaRouter 키는 크레딧이 0이라 유료 호출이 402 를 돌려줬습니다. 위의 Upstage 정지도 같은 종류입니다.

데이터가 한 곳을 더 거칩니다. OpenRouter FAQ 는 “Prompt and completion are not logged by default.” 라고 적고, 저장에 동의하면 사용료를 1% 깎아 줍니다. 그래도 밖으로 내보내면 안 되는 데이터는 라우터로 보내지 않습니다. 제 게이트웨이는 외부 제공사에 표시를 해 둡니다. 클라이언트 설정이나 요청 헤더로 외부를 금지하면 그 단계를 건너뜁니다. 내부 단계가 모두 실패해도 외부로 넘기지 않고 오류를 돌려줍니다.

추론 옵션은 따로 맞춥니다. 두 라우터 모두 이 모델의 추론이 기본으로 켜져 있었습니다. 그래서 둘 다 reasoning_effort 를 none 으로 두고, 추론이 필요한 단계에서만 덮어씁니다.

두 서비스는 문서와 운영 정보에서 갈립니다

OpenRouterOrcaRouter
모델 수(2026-11-18)가격 페이지 “600+”, 공개 목록 API 470개(무료 14)소개 페이지 “200+”, 공개 목록 API 215개
키 한도 조회GET /api/v1/key문서에서 찾지 못했다
운영 주체약관 페이지가 있다법인 이름을 찾지 못했다. /terms·/privacy 는 404

OrcaRouter 의 자동 라우팅 정확도는 여전히 두 가지로 적혀 있습니다. FAQ 는 RouterArena 기준 75.5% 이고, 통계 칸은 “99%” 에 “with frontier escalation” 을 붙였습니다. 두 수치의 관계는 설명이 없습니다. 저는 auto 를 쓰지 않고 모델 이름을 지정합니다. 어떤 모델이 답했는지 알아야 비용과 품질을 따질 수 있기 때문입니다.

언제 쓰고 언제 쓰지 않나

쓰는 편이 낫다쓰지 않는 편이 낫다
모델을 둘 이상 쓰거나 자주 바꾼다모델 하나만 쓴다. 충전 수수료와 경유 구간이 없다
모델을 비교해서 고르는 단계다데이터를 제3자에게 넘길 수 없다
한 제공사의 장애가 서비스 중단이 되면 안 된다제공사만 주는 기능이나 계약 조건이 필요하다

이 판단이 틀리는 경우

  • 트래픽이 커서 제공사와 직접 할인 계약을 맺을 수 있다면 5.5% 수수료가 더 커 보입니다.
  • 라우터가 고른 제공사의 품질이 계속 흔들린다면, 이름만 고정해서는 결과를 고정하지 못합니다. 그때는 제공사까지 지정하거나 직접 붙습니다.
  • OrcaRouter 의 운영 주체를 확인하지 못했습니다. 계약 상대가 분명해야 하는 일에는 쓰지 않습니다.

정리

모델을 둘 이상 쓰면 라우터를 앞에 두고, 그 뒤에 게이트웨이로 한 겹 더 폴백을 둡니다. 다만 같은 모델 이름이 같은 품질과 같은 단가를 뜻하지는 않았습니다. 순서는 내 업무로 잰 값으로 정합니다.

라우터를 붙였다면 하나만 확인합니다. 지금 쓰는 모델을 두 경로로 같은 요청 열 번씩 보내, 통과율과 첫 토큰 시간을 나란히 적어 봅니다.

출처

모두 2026-11-18 에 확인했습니다.

이 글은 2026-11-17 에 옛 블로그에 올린 글을 2026-11-18 에 다시 확인하고 고쳐 쓴 것입니다.