Inference Bridge 용 Google Chrome

추론 브리지: 로컬 및 클라우드 LLM 접근을 위한 브라우저 브리지

Inference Bridge는 samsamskies(SamSamskies)가 만든 Chrome 확장 프로그램으로, 실험적인 Inference Provider API를 구현하여 웹 앱과 LLM을 연결합니다. 이는 표준화된 window.inference 객체를 주입하여 페이지가 브라우저를 통해 AI 응답을 직접 요청할 수 있도록 하며, window.inference.request()를 통해 스트리밍 텍스트를 지원하고 저장된 키를 사용하여 OpenAI 또는 로컬 Ollama 인스턴스로 라우팅합니다. 웹 개발자, AI 연구자 및 개인 정보 보호에 민감한 사용자를 대상으로 하며, API 키를 확장 프로그램 내부에 보관하고 더 안전한 모델 접근을 위해 출처별 권한 제어를 제공합니다.

웹 페이지에 표준 AI 인터페이스를 노출하는 방법

브라우저 측 API를 주입합니다 페이지가 직접 호출할 수 있는 window.inference 객체를 제공함으로써. 이 확장은 window.inference.request()를 통해 스트리밍 텍스트 채팅을 지원하므로 웹 앱은 도착하는 대토큰을 소비할 수 있습니다. 요청은 네트워크 활동 전에 확장 내에서 검증되므로 페이지가 임의의 페이로드를 전달하는 것을 방지합니다. 이 접근 방식은 웹 인터페이스가 페이지 스크립트에 공급자 자격 증명을 포함하지 않고도 LLM 클라이언트로 작동할 수 있게 합니다.

자격 증명을 분리하고 접근을 제어하는 방법

출처별 권한 프롬프트는 사용자가 각 공급자 및 모델에 대한 접근을 허용, 거부 또는 기억하도록 요청하여 사이트별로 세밀한 제어를 제공합니다. API 키는 확장의 서비스 워커에 저장되므로 페이지 스크립트는 자격 증명을 절대 볼 수 없습니다. 이 확장은 또한 로컬 연결을 쉽게 하기 위해 Origin 및 Referer 헤더를 제거하고, 보안 최상위 컨텍스트에 대한 주입을 제한하여 보안이 없는 페이지에 대한 노출을 줄입니다.

로컬 모델과 클라우드 키가 만나는 곳

통합 API 표면은 로컬 Ollama 서버와 BYOK(OpenAI 옵션)를 모두 지원하므로 개발자는 두 공급자 중 하나로 프로토타입을 만들 수 있습니다. 이 확장은 헤더 제거 및 로컬 라우팅을 처리하여 로컬 추론을 위한 일반적인 CORS 장벽을 우회하고, 테스트 중에 추가 프록시의 필요성을 제거합니다. 스트리밍 지원과 단일 인터페이스는 프로토타입 통합이 공급자 유형에 관계없이 일관되게 작동하도록 합니다.

개발자가 계획해야 할 실용적인 한계

실험적 참조로 구축됨 이 확장은 주입을 최상위 프레임으로 제한하고 file: 페이지나 하위 프레임에서는 작동하지 않으므로, 내장된 프레임에 의존하는 통합은 대체 설계가 필요합니다. 이 도구는 Chromium 기반 브라우저만을 대상으로 하며, 개발자는 이를 Inference Provider API 제안의 공식 참조 구현으로 포지셔닝하므로 팀은 이 도구를 완성된 프로덕션 구성 요소가 아닌 시작점으로 취급해야 합니다.

실용적이고 개발자 중심의 실험적 거래가 있는 다리

이 확장은 실험적인 도구 및 통합 작업을 수용하는 브라우저-LLM 워크플로를 프로토타입하는 개발자와 연구자를 위한 실용적인 옵션입니다. 애플리케이션 코드를 조정하고 통제된 환경에서 테스트를 실행해야 합니다. 실용적인 팁으로, 기억된 권한을 개발 호스트로 제한하고 테스트 중에는 모델 엔드포인트를 격리된 네트워크에 유지하십시오. 이 도구는 제안된 브라우저 API를 구현하기 위한 작업 참조로 사용됩니다.