Jarvis: trợ lý giọng nói kiểu Iron Man chạy trên Claude Code — hướng dẫn cài đặt và dùng

Tóm tắt nhanh
Jarvis là một ứng dụng web: bạn nói “Hey Jarvis” và trợ lý nghe, trả lời, dùng các công cụ MCP của Claude Code như tìm web, tạo ảnh, điều khiển điện thoại. Bạn chỉ cần Claude Code đã đăng nhập, Node.js 20 trở lên và Chrome hoặc Edge, không cần API key. Cài đặt gồm vài lệnh npm nên khá dễ.
Jarvis (repo adewaskar/jarvis) là một trợ lý giọng nói chạy trong trình duyệt, giao diện hologram giống J.A.R.V.I.S. trong phim Iron Man. Bạn nói “Hey Jarvis”, trợ lý thức dậy, nghe bạn nói rồi làm việc thật qua các công cụ bạn đã có: tìm web, tạo ảnh, chụp màn hình điện thoại, mở thông báo GitHub… Phần “mặt” là một trang web (React, Vite, Three.js). Phần “não” là Claude Code chạy ngầm như một thư viện.
Điểm khác biệt lớn nhất: bạn không cần API key, không cần tài khoản OpenAI, không có hoá đơn đám mây riêng. Jarvis dùng luôn phiên đăng nhập Claude Code sẵn có của bạn. Phần nặng (mô hình AI) chạy trên máy chủ của Anthropic, nên laptop yếu cũng chỉ phải vẽ giao diện.
Repo hợp với dev mới muốn thử một trợ lý giọng nói “có tay có chân”, và với người làm văn phòng đã dùng Claude Code, muốn điều khiển công cụ bằng lời. Hiện có khoảng 868 sao và 377 fork, giấy phép MIT, viết bằng TypeScript.
adewaskar/jarvis
Trợ lý giọng nói chạy trên trình duyệt với giao diện hologram kiểu Iron Man, dùng Claude Code làm bộ não để tìm web, tạo ảnh, điều khiển điện thoại.
I.Jarvis làm được gì
A.Nghe và nói tự nhiên
Trợ lý nhận lệnh bằng cách nói “Hey Jarvis”, hoặc bấm phím Space để nói không cần từ đánh thức. Bạn cũng có thể nói chen ngang khi trợ lý đang trả lời, và nó sẽ dừng lại. Việc phát hiện giọng nói chạy ngay trong trình duyệt nên phản ứng tức thì.
Nếu không có ElevenLabs, Jarvis dùng giọng đọc và nhận diện giọng nói có sẵn của trình duyệt. Có khoá ElevenLabs thì giọng hay hơn và nghe chính xác hơn. Bạn không phải bật cờ nào, hệ thống tự nhận ra.
B.Dùng được mọi công cụ MCP bạn đã cài
Jarvis đưa cho Claude các máy chủ MCP trong file ~/.claude.json của bạn. Tuỳ bạn đã cài gì, đó có thể là tìm kiếm web (exa, serper, serpapi), tạo ảnh và video (higgsfield, openrouter-image, palmier-pro), giọng nói (elevenlabs), điện thoại Android (android) và điều khiển trình duyệt (playwright). Bạn có thể giới hạn danh sách này bằng biến JARVIS_MCP_SERVERS.
C.Tự chỉnh giao diện theo lời nói
Jarvis điều khiển được chính giao diện của mình: đổi màu, đổi kiểu lò phản ứng (ring, sphere, wire), đặt ảnh quay quanh lò phản ứng, ẩn hiện các bảng, tạo hiệu ứng glitch hay scan. Câu như “đổi sang màu đỏ, ẩn danh sách hệ thống” là lệnh nói được.
D.Bảng thông tin HUD an toàn
Trợ lý có thể dựng bảng hiển thị gồm chữ, ảnh, video, nhúng YouTube hoặc Vimeo. Nội dung được lọc kỹ trước khi hiện. Ảnh và video ở ngoài được tải qua phần “não” chứ không qua trình duyệt, nên trang không làm lộ IP của bạn cho máy chủ lạ.
E.Mặc định chỉ đọc
Lúc đầu Jarvis chỉ được tìm kiếm, tạo ảnh, tra cứu. Gửi, chạm, xoá, cài đặt, thanh toán đều bị từ chối. Bạn bật quyền ghi khi sẵn sàng.
II.Cần chuẩn bị gì
Theo README, danh sách rất ngắn:
- Claude Code đã cài và đăng nhập. Đây là tài khoản duy nhất cần. Cài bằng
npm install -g @anthropic-ai/claude-codehoặc trình cài đặt theo hệ điều hành trong tài liệu chính thức của Claude Code, rồi chạyclaudemột lần để đăng nhập. Chi phí tính vào tài khoản Claude của bạn. - Node.js 20 trở lên. File package.json của repo cũng yêu cầu Node từ 20.
- Google Chrome hoặc Microsoft Edge, mở trong cửa sổ trình duyệt thật. Khung xem trước nhúng trong trình soạn thảo hay trong Claude Code sẽ chặn micro. Trình duyệt cũng cần WebGL, cả hai đều có.
- Tuỳ chọn: khoá API ElevenLabs để có giọng tốt hơn. Bản miễn phí đủ để thử.
README không nói rõ hệ điều hành bắt buộc. Có nhắc cách chạy trên Windows (cmd, PowerShell) và WSL, nên Windows dùng được. Phần cứng: README nói máy yếu vẫn chạy được vì chỉ phải vẽ giao diện.
Jarvis dùng đăng nhập Claude Code của bạn, nên mọi lượt hỏi đều tính vào tài khoản Claude đó. Hãy để ý mức sử dụng nếu bạn nói chuyện nhiều.
III.Cài đặt từng bước
- Cài Claude CodeCài và chạy claude một lần để đăng nhập
- Tải mã nguồngit clone repo rồi cd vào thư mục
- Cài thư việnChạy npm install
- Kiểm tra môi trườngChạy npm run setup
- Khởi độngChạy npm start rồi mở trang trong Chrome
A.Cài Claude Code và đăng nhập
Nếu chưa có Claude Code, cài theo README:
npm install -g @anthropic-ai/claude-codeSau đó gõ lệnh dưới đây một lần và làm theo hướng dẫn đăng nhập. Jarvis sẽ dùng lại phiên đăng nhập này.
claudeĐã có Claude Code rồi thì bỏ qua bước này. Muốn dùng trình cài đặt theo hệ điều hành, xem tài liệu chính thức của Claude Code.
B.Tải mã nguồn
Mở terminal (Terminal trên Mac, PowerShell trên Windows) tại thư mục bạn muốn lưu dự án, rồi chạy:
git clone https://github.com/adewaskar/jarvis.git
cd jarvisNgười mới hay quên cd jarvis. Các lệnh sau phải chạy trong thư mục này.
C.Cài thư viện
npm installLệnh này tải các gói mà dự án cần. Nó cần Node.js 20 trở lên.
D.Kiểm tra môi trường
README nói chạy lệnh sau sau khi clone sẽ kiểm tra các yêu cầu và báo lại bằng ngôn ngữ dễ hiểu:
npm run setupE.Khởi động
Cách nhanh nhất là chạy cả “não” và “mặt” cùng lúc:
npm startSau đó mở địa chỉ nó in ra (http://localhost:5173) bằng Chrome hoặc Edge, bấm INITIALISE, cho phép micro khi được hỏi, rồi nói “Hey Jarvis”.
Nếu thích chạy hai terminal riêng:
npm run bridgeĐây là terminal 1, phần “não”. Terminal 2 chạy phần “mặt”:
npm run devF.Đặt khoá ElevenLabs (tuỳ chọn)
README nêu hai cách: đặt biến ELEVENLABS_API_KEY trên bridge trước khi khởi động, hoặc thêm khoá vào phần env của máy chủ MCP elevenlabs trong ~/.claude.json. README chưa ghi lệnh cụ thể cho từng hệ điều hành, nên bạn tự đặt biến môi trường theo cách quen thuộc của máy mình. Khởi động lại rồi tải lại trang, giọng và nhận diện sẽ tự nâng cấp.
IV.Kiểm tra đã chạy được chưa
Khi bridge chạy, terminal in một dòng báo mô hình, kiểu [jarvis] model claude-opus-5 · effort medium. Mặc định là claude-opus-5 với mức suy luận medium, bạn đổi được bằng JARVIS_MODEL và JARVIS_EFFORT.
Trên trình duyệt, bạn thấy màn hình khởi động kiểu Iron Man rồi bấm INITIALISE. Sau khi cho phép micro và nói “Hey Jarvis”, trợ lý phải phản hồi. Nếu thấy nó “sống” mà không đáp lại, gần như chắc chắn micro đang bị chặn.
Trong lúc dùng, hai phím này giúp kiểm tra nhanh:
- D mở bảng chẩn đoán, cho biết trợ lý có nghe được bạn và có phát ra âm thanh không.
- T chạy kiểm tra âm thanh một dòng.
Bạn cũng có thể chạy bộ kiểm thử của bridge:
npm testREADME nói các bài test này không mở phiên làm việc với agent.
V.Dùng vào việc thật
A.Hỏi tin tức nhanh khi đang làm việc khác
Bạn là nhân viên văn phòng đang soạn báo cáo và cần cập nhật nhanh. Bạn chỉ việc nói: “Hey Jarvis, tuần này có gì mới về AI?”. Nếu bạn đã cài một máy chủ tìm kiếm như exa hoặc serper, Jarvis tìm web rồi đọc kết quả và có thể dựng bảng HUD hiển thị. Tay bạn vẫn ở bàn phím.
B.Tạo ảnh minh hoạ bằng giọng nói
Bạn là chủ shop cần một hình minh hoạ cho bài đăng. Nếu đã cài máy chủ tạo ảnh như higgsfield hay openrouter-image, hãy nói: “Tạo một hình ảnh bộ giáp Mark VII”. Ảnh hiện trên màn hình, và bạn có thể bảo “đặt ảnh đó quay quanh lò phản ứng” để xem nó trong giao diện. Kết quả phụ thuộc vào công cụ tạo ảnh bạn đã cấu hình.
Quyết định đáng giá nhất là để Jarvis chỉ đọc trước, rồi mới mở quyền ghi khi bạn đã hiểu nó làm gì.
Ông T
C.Xem điện thoại Android
Bạn là dev đang thử ứng dụng. Với máy chủ MCP android đã cài, câu lệnh mẫu trong README là: “Chụp màn hình điện thoại của tôi”. Những việc như chạm hay gửi tin là hành động có tác dụng thật, nên chỉ chạy khi bạn bật quyền ghi bằng:
npm run bridge:writesVới npm start, README bảo dùng npm start -- --writes. Lệnh này thêm Bash, Write, Edit và NotebookEdit vào công cụ của trợ lý.
Khi bật quyền ghi, shell có thể chạm vào mọi thứ tài khoản máy của bạn chạm được. README khuyên đọc hàm decideTool() trong bridge/policy.mjs trước khi bật, vì câu “dọn thư mục tải về” sẽ có nghĩa khác hẳn.
D.Tuỳ biến giao diện để trình diễn
Bạn làm demo cho đồng nghiệp. Nói “đổi sang màu đỏ, ẩn danh sách hệ thống” hoặc yêu cầu hiệu ứng glitch, scan. Tất cả là lệnh giọng nói qua các công cụ ui_theme, ui_reactor, ui_chrome, ui_effect. Phím Escape cho trợ lý “đứng yên”.
VI.Lỗi hay gặp và cách xử lý
A.Trợ lý trông như đang sống nhưng không nghe gì
Nguyên nhân hay gặp là bạn mở trong khung xem trước của trình soạn thảo, hoặc chưa cho phép micro. Hãy mở địa chỉ trong cửa sổ Chrome hoặc Edge thật, cho phép micro, rồi bấm D để xem chẩn đoán.
B.Không có tiếng
Kiểm tra lại: đúng Chrome hoặc Edge, đúng cửa sổ thật, đã cho phép micro. Bấm T để tự kiểm tra âm thanh. Phím V đổi giọng của trình duyệt nếu giọng hiện tại hỏng.
C.Không kết nối được bridge
Xem terminal chạy npm run bridge còn mở không, và có chương trình nào khác chiếm cổng 8787 không. Nếu cổng bị chiếm, bridge in một dòng báo lúc khởi động rồi thoát. Mặc định bridge chỉ lắng nghe trên 127.0.0.1. Muốn truy cập từ máy khác, README bảo phải đặt JARVIS_BRIDGE_HOST và JARVIS_ALLOWED_HOSTS và có xác thực riêng phía trước. Đừng tự mở ra mạng khi chưa hiểu rủi ro, vì khi đó agent nằm trên mạng của bạn.
D.Điều khiển trình duyệt trên Windows không chạy
Bridge tự tìm named pipe của tiện ích Claude. Nếu log khởi động báo tiện ích chưa chạy, hãy mở Chrome có tiện ích đã đăng nhập. Bridge tự tìm lại pipe ở mỗi yêu cầu nên không cần khởi động lại.
E.Chạy trong WSL mà trang tải chậm
Nếu chạy bridge trong WSL còn Chrome ở Windows, README gợi ý mở http://127.0.0.1:5173 thay cho localhost, vì Windows thử IPv6 trước mà WSL không chuyển tiếp.
VII.Có nên dùng không
Điểm mạnh. Cài đặt đơn giản, không cần API key, giao diện đẹp và mang tính trình diễn cao. Nó tận dụng toàn bộ máy chủ MCP bạn đã có. Thiết kế an toàn tốt: mặc định chỉ đọc, chỉ lắng nghe trên máy local, có kiểm tra đường dẫn và địa chỉ, có cơ chế chặn công cụ nguy hiểm.
Giới hạn. Bạn bắt buộc phải có đăng ký Claude Code, và mọi lượt dùng tính vào tài khoản đó. Giọng nhận diện mặc định là của trình duyệt, nên chất lượng tuỳ Chrome hoặc Edge. README không nói gì về tiếng Việt, nên bạn nên tự thử trước khi trông cậy. Khả năng làm việc thật phụ thuộc vào các máy chủ MCP bạn đã cài. Chưa có MCP thì Jarvis chủ yếu để hỏi đáp.
Khi nào chọn cách khác. Nếu bạn chỉ cần chat bình thường, dùng thẳng Claude Code hoặc giao diện chat sẽ gọn hơn. Nếu bạn muốn tự động hoá việc nhạy cảm như gửi thư, xoá file, thanh toán, hãy cân nhắc kỹ trước khi bật quyền ghi.
Câu hỏi thường gặp
Jarvis có miễn phí không?
Mã nguồn dùng giấy phép MIT nên dùng tự do. Tuy nhiên bạn cần đăng ký Claude Code, và chi phí tính vào tài khoản Claude của bạn. ElevenLabs là tuỳ chọn, README nói bản miễn phí đủ để thử.
Có cần API key không?
Không bắt buộc. Bridge dùng lại phiên đăng nhập Claude Code của bạn nên không cần API key. Chỉ khoá ElevenLabs là tuỳ chọn để có giọng và nhận diện tốt hơn.
Có cần GPU hay máy mạnh không?
Không. README nói phần mô hình chạy trên máy chủ Anthropic, máy yếu chỉ phải vẽ giao diện. Trình duyệt cần hỗ trợ WebGL, Chrome và Edge đều có.
Chạy được trên Windows không?
Có. README hướng dẫn lệnh chạy cho cmd và PowerShell, cách điều khiển trình duyệt trên Windows và cả cách chạy bridge trong WSL với Chrome ở Windows.
Dữ liệu và quyền truy cập có an toàn không?
Bridge mặc định chỉ lắng nghe trên 127.0.0.1 và chỉ nhận yêu cầu local. Công cụ mặc định chỉ đọc, các hành động gửi, xoá, cài đặt, thanh toán bị từ chối. Khi bạn bật quyền ghi bằng npm run bridge:writes, shell có thể chạm vào mọi thứ tài khoản của bạn truy cập được, nên cần cẩn thận.
Jarvis có nói được tiếng Việt không?
Tư liệu chưa có thông tin về tiếng Việt. Nhận diện và giọng đọc mặc định dùng của trình duyệt, nên bạn hãy tự thử trên máy mình.
Khác gì dùng Claude Code trực tiếp?
Bộ não vẫn là Claude Code chạy ngầm. Jarvis thêm giao diện giọng nói, wake word “Hey Jarvis”, màn hình HUD và khả năng tự đổi giao diện bằng lời. Việc bạn làm được vẫn phụ thuộc vào các máy chủ MCP bạn đã cấu hình.


