Hệ thống & AI Systems & AI · · 5 phút đọc 5 min read

Xây dựng AI-LIVESTREAM: Giải pháp tự động hóa phòng phát trực tiếp bán hàng TikTok 24/7 bằng AI Engineering AI-LIVESTREAM: Automating 24/7 TikTok Shopping Livestreams with Hybrid RAG & Real-Time Neural Voice

Kiến trúc kỹ thuật đằng sau AI-LIVESTREAM - hệ thống livestream bán hàng TikTok khung dọc 9:16 hoạt động 24/7 kết hợp WebSocket JSON-RPC 2.0, bộ não Hybrid RAG (Gemini) và người mẫu AI đồng bộ giọng nói tiếng Việt thời gian thực. The technical architecture behind AI-LIVESTREAM—a 24/7 9:16 vertical TikTok commerce studio combining WebSocket JSON-RPC 2.0, Hybrid RAG (Gemini), and real-time Vietnamese neural lip-sync.

Xây dựng AI-LIVESTREAM: Giải pháp tự động hóa phòng phát trực tiếp bán hàng TikTok 24/7 bằng AI

Trong thương mại điện tử hiện đại, Livestream đã trở thành kênh chuyển đổi doanh số trực tiếp mạnh nhất. Tuy nhiên, bài toán khó nhất của các nhà bán hàng nhỏ và vừa là chi phí vận hành phòng live: thuê host theo ca đắt đỏ, người thật không thể giữ năng lượng nói liên tục suốt 24/7 vào các khung giờ đêm muộn hay sáng sớm, trong khi nhiều phần mềm livestream tự động trên thị trường chỉ phát lại một video quay sẵn vô hồn và dễ bị nền tảng quét vi phạm tương tác tĩnh.

Xuất phát từ nền tảng Hệ thống thông tin Kinh tế (MIS - ĐH Ngân hàng TP.HCM), mình thiết kế và lập trình mã nguồn mở AI-LIVESTREAM (https://github.com/duongbirken2510/AI-LIVESTREAM) để giải quyết trọn vẹn bài toán đó: biến một chiếc máy tính cá nhân thành phòng phát trực tiếp TikTok 9:16 (1080x1920) hoạt động 24/7, biết lắng nghe từng bình luận của khách vào xem và trả lời tư vấn bằng giọng nói tiếng Việt tự nhiên theo thời gian thực.

1. Kiến trúc hệ thống: Tương tác thời gian thực chuẩn JSON-RPC 2.0

Thay vì chỉ phát lại một luồng video cố định, mình xây dựng AI-LIVESTREAM trên kiến trúc Node.js + WebSocket JSON-RPC 2.0 kết nối trực tiếp vào phiên live qua tiktok-live-connector:

  • Bắt tín hiệu phòng live tức thì: Hệ thống tự động lắng nghe 4 luồng sự kiện quan trọng nhất gồm người xem mới bước vào phòng (Join), lượt thả tim (Like), bình luận hỏi hàng (Comment) và quà tặng (Gift).
  • Hàng đợi ưu tiên thông minh (Priority Speech Queue): Không phải sự kiện nào cũng được xử lý ngang nhau. Khách tặng quà (Gift) và khách bình luận hỏi thông tin sản phẩm luôn được đẩy lên đầu hàng đợi để MC phản hồi ngay lập tức; khi phòng live vắng bình luận, hệ thống tự động kích hoạt kịch bản giới thiệu sản phẩm (Auto Idle Pitch) theo chu kỳ linh hoạt để giữ nhiệt phòng live.
  • Bộ lọc an toàn (Sanitizer): Tự động lọc bỏ bình luận spam, ký tự rác và các từ khóa nhạy cảm trước khi đưa vào bộ não AI hoặc bộ đọc giọng nói, giúp bảo vệ tài khoản TikTok của nhà bán hàng trước các đợt phá rối.

Giao diện Sân khấu 9:16 và Bảng điều khiển nhanh

2. Bộ não AI Bán hàng Hybrid RAG & Tự động đồng bộ Kệ trưng bày

Điểm quyết định tỷ lệ chốt đơn trong livestream là tốc độ và độ chính xác khi trả lời câu hỏi của khách. Mình kết hợp mô hình Hybrid RAG (Knowledge Base) gồm 3 tầng xử lý:

  1. Tầng Smart FAQ siêu tốc: Với các câu hỏi lặp lại tần suất cao (bảng size, phí vận chuyển, chính sách đổi trả, bảo hành), hệ thống khớp bộ quy tắc từ khóa và trả lời ngay lập tức với độ trễ gần bằng 0.
  2. Tầng AI Suy luận (Gemini API & Gemini CLI): Với những câu hỏi tư vấn cá nhân hóa phức tạp, hệ thống nạp toàn bộ kho dữ liệu sản phẩm và chính sách cửa hàng (knowledge.json) vào Gemini để sinh câu trả lời ngắn gọn, đúng văn phong bán hàng trực tiếp.
  3. Tự động chuyển Thẻ Ghim Sản Phẩm (Auto Product Pinning): Ngay khi phát hiện khách hỏi sang một mã sản phẩm khác trong bình luận, hệ thống tự động làm nổi bật sản phẩm đó trên bàn trưng bày trước mặt MC và đổi thẻ ghim trên màn hình 9:16, giúp khách vừa nghe tư vấn vừa nhìn thấy đúng món hàng cùng mức giá ưu đãi.

Bảng quản trị Knowledge Base, Sản phẩm và Người mẫu AI

3. Giọng đọc tiếng Việt truyền cảm & 2 chế độ Người mẫu AI

Để trải nghiệm xem live tự nhiên và mượt mà nhất trên cả những máy tính cấu hình phổ thông, mình tối ưu đồng thời phần âm thanh lẫn hình ảnh sân khấu:

  • Giọng đọc Neural tiếng Việt (msedge-tts) kèm bộ đệm thông minh: Hỗ trợ giọng nữ Hoài My và giọng nam Nam Minh truyền cảm, tự động lưu file âm thanh đã tổng hợp vào tts-cache để tái sử dụng tức thì không tốn băng thông, kèm cơ chế tự động hạ nhỏ nhạc nền (Auto-ducking) mỗi khi MC cất tiếng và chuyển sang Google TTS dự phòng nếu nghẽn mạng.
  • Hai chế độ hiển thị MC ảo linh hoạt:
    • Chế độ Ảnh tĩnh + Nhép môi theo sóng âm (Web Audio API Analyser): Phù hợp cho nhà bán hàng chỉ có sẵn 1 tấm ảnh mẫu chụp studio.
    • Chế độ Cặp Video Loop (Idle.mp4 & Talking.mp4) + Tách phông xanh (Canvas Chroma Key): Tự động chuyển mượt không chớp đen giữa video MC mỉm cười lắng nghe và video MC đang nói khi có tiếng phát ra, đồng thời hỗ trợ tách nền xanh trực tiếp trên HTML5 Canvas để ghép vào bất kỳ bối cảnh cửa hàng nào.

Màn hình OBS Stage 9:16 sạch dành cho TikTok LIVE Studio

4. Khởi chạy 1 chạm cho mọi nhà bán hàng

Toàn bộ dự án được đóng gói gọn nhẹ kèm file chạy nhanh BAT-LIVE.bat trên Windows và nguồn nhúng sạch http://lvh.me:3000/?obs=1 chuẩn khung dọc 1080x1920 cho TikTok LIVE Studio hoặc OBS Studio.

Mình công khai toàn bộ mã nguồn tại github.com/duongbirken2510/AI-LIVESTREAM để anh em lập trình viên và các nhà bán hàng có thể tải về tự thiết lập phòng livestream AI 24/7 cho cửa hàng của mình.

In modern e-commerce, Livestreaming has become the highest-converting direct sales channel. Yet the hardest bottleneck for SMEs is studio operating cost: hiring shift hosts is expensive, human presenters cannot maintain peak energy 24/7 through late-night hours, and conventional video-looping tools are easily flagged by platform algorithms for static, non-interactive streams.

Drawing from my background in Management Information Systems (MIS — Banking University of Ho Chi Minh City), I designed and open-sourced AI-LIVESTREAM (https://github.com/duongbirken2510/AI-LIVESTREAM) to solve this end to end: turning a standard PC into a 24/7 9:16 (1080x1920) TikTok live studio that listens to every viewer comment and responds in natural Vietnamese speech in real time.

1. System Architecture: Real-Time Event Processing via JSON-RPC 2.0

Rather than looping a static video file, AI-LIVESTREAM is built on Node.js + WebSocket JSON-RPC 2.0, connecting directly to live rooms via tiktok-live-connector:

  • Instant Live Room Signal Capture: Listens to 4 real-time event streams: new joiners (Join), heart taps (Like), product inquiries (Comment), and virtual gifts (Gift).
  • Priority Speech Queue: Not all events are equal. Viewer gifts (Gift) and buying-intent comments (Comment) jump straight to the front of the queue for immediate response; when chat is quiet, the engine triggers an Auto Idle Pitch cycle to keep room retention high.
  • Safety Sanitizer: Strips spam, garbage characters, and policy-sensitive keywords before they reach the LLM or TTS synthesizer—protecting seller accounts from compliance violations.

9:16 Stage Interface and Quick Control Panel

2. Hybrid RAG Sales Brain & Automatic Podium Synchronization

Conversion rates in live commerce depend on response speed and accuracy. I designed a 3-tier Hybrid RAG pipeline:

  1. Zero-Latency Smart FAQ Tier: High-frequency questions (size charts, shipping fees, return policies, warranties) match against deterministic keyword rules and respond in near-zero latency.
  2. Gemini Reasoning Tier (Gemini API & CLI): Complex, personalized questions load the store’s structured product catalog and policies (knowledge.json) into Gemini to generate concise, sales-ready spoken answers.
  3. Auto Product Pinning: The moment a viewer asks about a different SKU in chat, the stage highlights that item on the foreground podium and switches the 9:16 Product Pin Overlay automatically.

Knowledge Base, SKU Catalog, and AI Model Admin Panel

3. Expressive Neural Voices & Dual AI Presenter Modes

To run smoothly even on mainstream office PCs, both audio and stage rendering are tightly optimized:

  • Vietnamese Neural TTS (msedge-tts) with Smart Caching: Supports expressive female (Hoài My) and male (Nam Minh) voices, caches synthesized audio in tts-cache for instant reuse, ducks background music automatically when speaking, and falls back to Google TTS if network congestion occurs.
  • Two Flexible Virtual Presenter Modes:
    • Static Studio Portrait + Audio Lip-Sync (Web Audio API Analyser): Ideal for sellers starting with a single studio photo.
    • Paired Video Loops (Idle.mp4 & Talking.mp4) + HTML5 Canvas Chroma Key: Zero-flicker transitions between listening and speaking states with real-time green-screen removal.

Clean 9:16 OBS Stage Output for TikTok LIVE Studio

4. One-Click Launch for Every Merchant

The entire stack launches with a single BAT-LIVE.bat script on Windows and exposes a clean http://lvh.me:3000/?obs=1 vertical 1080x1920 browser source for TikTok LIVE Studio or OBS Studio.

Full open-source repository: github.com/duongbirken2510/AI-LIVESTREAM