Giải pháp thay thế OpenRouter cho Janitor AI: Hướng dẫn thiết lập

Những thứ bạn cần nhập

Nếu bạn muốn một giải pháp thay thế OpenRouter cho Janitor AI hoặc một ứng dụng trò chuyện nhân vật tương tự, cách thiết lập giống hệt với bất kỳ nhà cung cấp tương thích OpenAI nào. Hãy tìm nơi trong ứng dụng của bạn để thêm API tùy chỉnh hoặc proxy. Các ứng dụng khác nhau có thể gọi nó là "proxy", "endpoint OpenAI tùy chỉnh" hoặc "URL API". Các trường bên dưới luôn giống nhau.

Trường	Giá trị
URL API / base URL	https://api.openrouterapi.cc/v1
Khóa API	Khóa API từ tài khoản của bạn, được gửi dưới dạng Authorization: Bearer
Tên mô hình	uncensored

Một số ứng dụng muốn endpoint đầy đủ thay vì base URL. Nếu lưu base URL gây lỗi hoặc 404, hãy thử https://api.openrouterapi.cc/v1/chat/completions. Hai phương thức được hỗ trợ là POST /v1/chat/completions và GET /v1/models, nên một ứng dụng liệt kê các mô hình sẽ gọi phương thức thứ hai và thấy uncensored.

Nếu bạn chưa có khóa API, hãy đăng ký bằng Google hoặc email và mật khẩu, sau đó làm theo hướng dẫn khóa API. Tài khoản mới có thể nhận $0,50 dùng thử chỉ với một cú nhấp chuột, đủ cho lần kiểm tra đầu tiên.

Kiểm tra kết nối trước khi đổ lỗi cho ứng dụng

Các giao diện nhập vai ẩn văn bản lỗi thô. Hãy chạy một yêu cầu từ terminal trước để bạn biết khóa API và mô hình có hoạt động không. Thay thế giá trị giữ chỗ bằng khóa API của bạn.

Copycurl https://api.openrouterapi.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are Mara, a dry-witted ship engineer."},
      {"role": "user", "content": "The reactor is humming wrong again."}
    ],
    "temperature": 0.9,
    "max_tokens": 200
  }'

Nếu lệnh này trả về phản hồi, endpoint và khóa API đều ổn, và mọi sự cố nằm ở cài đặt ứng dụng. Nếu thất bại, nội dung lỗi sẽ cho bạn biết lý do. Hãy giữ lại request ID từ tiêu đề phản hồi X-Request-Id; nó sẽ hữu ích khi bạn liên hệ hỗ trợ.

Một prompt hệ thống mẫu

Thẻ nhân vật trong giao diện thường trở thành thông báo hệ thống. Dù ứng dụng của bạn làm gì, mô hình sẽ nhận được văn bản tương tự như bên dưới. Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp, nên prompt không cần tranh luận với nó. Nó cần rõ ràng về giọng điệu, ranh giới và định dạng.

Bạn là Mara Voss, kỹ sư trưởng trên tàu hàng Calloway.

Giọng điệu: khô khan, thực tế, sẵn sàng đùa dưới áp lực.

Viết ở ngôi thứ ba thì quá khứ, 2 đến 4 đoạn văn ngắn.

Không bao giờ nói hoặc hành động thay cho nhân vật của người dùng.

Giữ tính liên tục: theo dõi thương tích, sửa chữa và những chi tiết đã biết.

Giữ nguyên câu chuyện. Tất cả nhân vật đều là người trưởng thành.

Hai thói quen cải thiện các phiên dài. Thứ nhất, giữ prompt hệ thống ngắn vì nó được gửi lại ở mỗi lượt. Thứ hai, đặt các quy tắc cứng ở cuối prompt, không phải ở giữa, để chúng nổi bật khi lịch sử trò chuyện tăng lên. Nếu ứng dụng của bạn cho phép thêm "ghi chú của tác giả" hoặc lời nhắc được chèn gần tin nhắn mới nhất, hãy dùng nó cho các quy tắc về phong cách.

Một quy tắc cố định trên dịch vụ này và trong prompt của bạn: không có nội dung tình dục liên quan đến người chưa thành niên. Viết điều này vào thẻ nhân vật cũng giữ cho các thẻ của bạn sạch sẽ.

Các cài đặt thường hoạt động tốt

Đây là điểm bắt đầu, không phải bảo đảm. Thay đổi từng thứ một và so sánh một vài phản hồi.

• Temperature từ 0,8 đến 1,0 cho hội thoại sôi động. Giảm xuống khoảng 0,6 nếu nhân vật đi chệch hướng hoặc tự mâu thuẫn.
• top_p từ 0,9 đến 0,95 nếu ứng dụng của bạn cho phép. Giá trị này được chuyển tiếp.
• Penalty tần suất và hiện diện từ 0,2 đến 0,5 khi các phản hồi bắt đầu lặp lại cụm từ. Giá trị lớn làm văn bản kỳ lạ, nên giữ ở mức thấp.
• max_tokens là tùy chọn. Đặt từ 300 đến 600 nếu bạn muốn phản hồi dài bằng đoạn văn chứ không phải tiểu luận.
• Bật streaming. Phản hồi xuất hiện khi nó được viết, và chunk cuối cùng mang thông tin sử dụng để ứng dụng của bạn có thể hiển thị số token.
• seed được chuyển tiếp, rất hữu ích khi bạn muốn so sánh hai phiên bản prompt trên cùng một lượt tạo.

Streaming có một tác dụng phụ đáng biết: một yêu cầu streaming giữ slot concurrency của nó cho đến khi luồng kết thúc. Khóa đầy đủ cho phép 8 yêu cầu cùng lúc và 300 mỗi phút. Khóa dùng thử cho phép 2 yêu cầu cùng lúc và 60 mỗi phút.

Ngữ cảnh, bộ nhớ và chi phí cho các cuộc trò chuyện dài

Cửa sổ ngữ cảnh là 100.000 token, bao gồm prompt và completion. Đó là một lượng lớn câu chuyện: hàng chục nghìn từ lịch sử có thể vừa vặn. Chi phí tăng lên cùng với nó vì toàn bộ lịch sử được gửi mỗi lần. Dưới đây là ví dụ tính toán cho một phiên dài.

Giả sử lịch sử đã phát triển lên 30.000 token và phản hồi là 300 token. Đầu vào: 30.000 x $0,15 / 1M = $0,0045. Đầu ra: 300 x $0,50 / 1M = $0,00015. Một phản hồi tốn $0,00465. Một trăm phản hồi ở kích thước đó tốn $0,465, tức khoảng 47 cent.

Lịch sử ngắn hơn sẽ rẻ hơn và thường tốt hơn. Các mô hình ít chú ý hơn đến phần giữa của các prompt rất dài, nên một bản tóm tắt sạch sẽ các sự kiện cũ cộng với mười hai tin nhắn gần nhất có thể đọc nhất quán hơn là 30.000 token thô. Nhiều giao diện có tính năng tóm tắt hoặc "bộ nhớ". Hãy dùng nó khi cuộc trò chuyện vượt quá vài nghìn token.

Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tín dụng trả trước không bao giờ hết hạn. Xem trang giá cả để biết số tiền nạp tiền, bonus và phương thức thanh toán, bao gồm thẻ và crypto.

Giữ nhân vật nhất quán trong nhiều tuần

Các nhân vật chạy dài bị trôi. Giải pháp chủ yếu là quản lý dữ liệu và nó tốn rất ít token nếu bạn làm tốt.

Giữ một khối dữ liệu cố định không bao giờ thay đổi: tên, tính cách, thói quen nói chuyện, mối quan hệ. Giữ một khối thứ hai mà bạn cập nhật thủ công định kỳ: tình hình hiện tại, các mối dây truyện mở, lời hứa đã đưa ra. Dán cả hai vào prompt hệ thống hoặc trường bộ nhớ của ứng dụng, và giữ mỗi khối dưới khoảng 500 token. Tổng cộng đó là tối đa 1.000 token, tốn $0,00015 cho mỗi phản hồi ở tỷ lệ đầu vào.

Sau đó, hãy để cuộc trò chuyện trực tiếp chỉ chứa các trao đổi gần đây. Khi một cảnh kết thúc, hãy viết hai hoặc ba câu tóm tắt vào khối thứ hai và xóa các tin nhắn cũ. Nhân vật của bạn vẫn sắc bén, phản hồi nhanh hơn để đọc, và chi phí mỗi phản hồi vẫn gần một phần mười cent thay vì tăng lên với mỗi phiên.

Nếu bạn chạy nhiều nhân vật trong một cuộc trò chuyện, hãy nói rõ ai nói và khi nào. Một dòng như "Chỉ viết dòng của Mara trừ khi người dùng yêu cầu nhân vật khác" ngăn mô hình kể lại tất cả cùng lúc, điều này cũng giữ phản hồi ngắn và rẻ.

Khắc phục sự cố 429 và các phản hồi lạ

Các ứng dụng roleplay dễ vô tình kích hoạt giới hạn tốc độ: hai tab trình duyệt, nút "tạo lại" được nhấn hai lần, một cuộc trò chuyện nhóm nơi nhiều nhân vật cùng trả lời một lúc. API trả về HTTP 429 và một trong những nguyên nhân này.

1. Mã lỗi concurrency. Bạn có nhiều yêu cầu đang xử lý hơn mức khóa của bạn cho phép. Đóng các tab thừa, đợi luồng kết thúc hoặc tắt tính năng trả lời đồng thời của nhân vật. Hãy nhớ rằng một luồng chiếm slot của nó cho đến khi kết thúc.
2. Mã lỗi rate_limited. Bạn đã gửi quá nhiều yêu cầu trong một phút. Hãy giảm tốc độ; một người đánh máy hiếm khi đạt 300 yêu cầu mỗi phút, nhưng một vòng lặp vuốt tự động có thể đạt 60 trên khóa dùng thử.
3. 429 với tiêu đề Retry-After: 5. Dịch vụ đang quá tải tạm thời. Đợi năm giây và gửi lại.

Nếu các phản hồi bị cắt ngang, hãy kiểm tra cài đặt max_tokens trong ứng dụng khách của bạn. Nếu nhân vật nói thay bạn, hãy tăng cường quy tắc trong prompt hệ thống và giảm nhiệt độ. Nếu ứng dụng báo không tìm thấy mô hình, hãy đảm bảo trường mô hình chính xác là uncensored, viết thường.

Nơi phù hợp và nơi không phù hợp

Nó hoạt động như một sự thay thế khi ứng dụng khách của bạn cho phép bạn chọn endpoint của riêng mình và bạn muốn một mô hình với giá mỗi token cố định. Nó không thay thế một bộ định tuyến nếu bạn thích chuyển đổi giữa nhiều mô hình trong khi trò chuyện. Bạn có một mô hình, từ một nhà cung cấp độc lập, không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào.

Mô hình chỉ hỗ trợ văn bản. Nó sẽ không tạo nghệ thuật nhân vật, giọng nói hoặc video và embeddings không có sẵn. Bất kỳ thứ gì trong ứng dụng khách của bạn phụ thuộc vào những thứ đó cần một dịch vụ khác. Các prompt không được sử dụng để huấn luyện và hướng dẫn bắt đầu nhanh đầy đủ có trong docs.

Hướng dẫn khác

• Các giải pháp thay thế OpenRouter rẻ hơn: Chi phí token đã tính toán
• Giải pháp thay thế OpenRouter cho các mô hình AI: Một so với Nhiều
• API Perplexity: Cách sử dụng LLM không kiểm duyệt