Hệ thống & AI Systems & AI · · 7 phút đọc 7 min read

AI-LIVESTREAM 24/7: Giải bài toán 'giờ trống' ca đêm và chống bóp tương tác trên TikTok Shop & Shopee Live AI-LIVESTREAM 24/7: Solving Late-Night Dead Hours & Boosting Engagement on TikTok Shop & Shopee Live

Cách mình xây dựng hệ thống Livestream AI chuẩn khung dọc 9:16: phản hồi bình luận tức thì bằng Hybrid RAG, tự động nhảy thẻ ghim sản phẩm theo câu hỏi của khách và phát đồng thời lên TikTok & Shopee. How I engineered an open-source 9:16 vertical AI Livestream system: instant comment replies via Hybrid RAG, automatic product pin switching based on buyer questions, and dual-platform streaming.

AI-LIVESTREAM 24/7: Giải bài toán 'giờ trống' ca đêm và chống bóp tương tác trên TikTok Shop & Shopee Live

Khi trực tiếp vận hành các gian hàng thương mại điện tử của Stepwell Vietnam, mình nhận ra một nghịch lý rất lớn trong mảng Livestream bán hàng: khách hàng lướt TikTok và Shopee mua sắm suốt 24 giờ, nhưng sức người thì có giới hạn.

Từ bài toán thực tế đó, mình đã thiết kế và lập trình mã nguồn mở AI-LIVESTREAM — Hệ thống giúp các nhà bán hàng vận hành phòng live tự động 24/7 chuẩn khung dọc 9:16 (1080x1920) với tín hiệu tương tác sống 100%.

Giao diện Sân khấu 9:16 và Bảng điều khiển AI-LIVESTREAM

Dưới đây là 5 bài toán cốt lõi mà hệ thống này giải quyết triệt để cho nhà bán hàng:


1. Bắt trọn "khung giờ trống" mà không tốn chi phí thuê Host ca đêm

Chi phí thuê streamer thực tế hiện nay thường ngốn từ 100.000đ đến 300.000đ mỗi giờ, khiến đa số shop buộc phải tắt live sau 23h đêm hoặc trong khung giờ nghỉ trưa.

AI-LIVESTREAM lấp đầy hoàn toàn các "giờ trống" này (0h – 7h sáng và khung giờ nghỉ trưa) để gom trọn nhóm khách lướt đêm chốt đơn cảm xúc (impulse buying) mà không phát sinh thêm bất kỳ chi phí nhân sự nào.


2. Chống gãy tương tác và né thuật toán quét "Live tĩnh / Re-up"

Các công cụ phát lại video quay sẵn truyền thống rất dễ bị thuật toán của TikTok và Shopee bóp hiển thị hoặc khóa phiên live vì nội dung lặp đi lặp lại và hoàn toàn không ăn khớp với bình luận thời gian thực của người xem.

AI-LIVESTREAM tạo ra tín hiệu tương tác sống 100% nhờ 3 cơ chế:

  • Phản hồi tức thì (Hybrid RAG): Khách hỏi giá, hỏi size hay chính sách bảo hành đều được trả lời ngay lập tức (độ trễ gần bằng 0 nhờ kết hợp bộ Smart FAQ tốc độ cao và suy luận sâu qua Gemini), giữ chân khách ở lại phòng live lâu hơn.
  • Hàng đợi ưu tiên (Priority Speech Queue): Tự động phân luồng ưu tiên:
    1. Cảm ơn khách tặng quà (Gift) ngay lập tức.
    2. Trả lời khách hỏi mua hàng (Comment).
    3. Chào tên khách mới vào phòng (Join) và cảm ơn thả tim (Like).
    4. Tự động thuyết trình sản phẩm (Auto Idle Pitch) khi vắng bình luận để phòng live không bao giờ bị "chết sóng".
  • Bộ lọc an toàn (Sanitizer): Tự động chặn các từ khóa vi phạm chính sách sàn hoặc bình luận spam trước khi AI đọc lên thành tiếng, bảo vệ tài khoản khỏi bị đánh gậy.

3. Tự động nhảy Thẻ Ghim và Bục Trưng Bày theo đúng món khách hỏi

Nỗi đau lớn nhất khi live nhiều mã hàng (SKU) bằng công cụ tự động là: khách hỏi món số 5 nhưng màn hình vẫn ghim món số 1, làm rớt mạnh tỷ lệ bấm vào giỏ hàng (CTR).

Màn hình Sân khấu 9:16 sạch xuất sang OBS / TikTok LIVE Studio

Khi khách bình luận tên hoặc mã sản phẩm, AI-LIVESTREAM tự động nhận diện ngữ cảnh để:

  1. Đổi ngay Thẻ Ghim Sản Phẩm (Product Pin Overlay) trên màn hình.
  2. Làm sáng sản phẩm đó trên kệ trưng bày (Foreground Podium Layer), dẫn hướng mắt người xem bấm mua ngay lập tức.

4. Hình ảnh và âm thanh mượt như phòng live thật, nhẹ máy

Thay vì ghép giọng robot khô khan hay màn hình giật chớp đen khi chuyển trạng thái, hệ thống tối ưu trải nghiệm nghe nhìn sát với phòng live thật nhất:

  • Chuyển cảnh người mẫu không chớp đen: Hỗ trợ cặp video người mẫu thật (Idle.mp4 khi lắng nghe & Talking.mp4 khi tư vấn) kết hợp tách nền xanh (Chroma Key) trực tiếp trên HTML5 Canvas hoặc chế độ nhép môi theo sóng âm (Web Audio API Analyser).
  • Giọng đọc Neural & Tự hạ nhạc nền (Auto-ducking): Giọng nữ Hoài My / nam Nam Minh tự nhiên, có bộ đệm tts-cache tiết kiệm tài nguyên và tự động giảm âm lượng nhạc nền mỗi khi MC cất tiếng để khách nghe rõ từng câu tư vấn.

Bảng quản trị Kiến thức, Sản phẩm và Người mẫu AI


5. Một nguồn phát chuẩn 9:16 dùng chung cho cả TikTok lẫn Shopee

Với đường dẫn xuất hình sạch ?obs=1 chuẩn khung dọc 1080x1920, nhà bán hàng chỉ cần cắm một Browser Source duy nhất vào OBS Studio hoặc TikTok LIVE Studio là có thể phát đồng thời (Multi-stream) lên cả TikTok Shop và Shopee Live (qua Shopee PC Live / RTMP) ngay trên một chiếc máy tính cấu hình phổ thông.


Mã nguồn mở & Trải nghiệm

Toàn bộ mã nguồn dự án đã được mình chia sẻ trên GitHub. Nếu bạn đang kinh doanh trên TikTok Shop, Shopee hoặc quan tâm đến ứng dụng AI vào thương mại điện tử, mời bạn tham khảo tại:

While directly operating e-commerce storefronts for Stepwell Vietnam, I encountered a fundamental paradox in live commerce: shoppers scroll and buy on TikTok and Shopee 24 hours a day, yet human hosts have physical limits.

To solve that operational bottleneck, I designed and open-sourced AI-LIVESTREAM — a system that empowers merchants to run autonomous 24/7 vertical 9:16 (1080x1920) livestream studios with 100% live interactive signals.

9:16 Stage Interface and AI-LIVESTREAM Control Workspace

Here are the 5 core problems this architecture solves for e-commerce brands:


1. Capturing "Dead Hours" Without Late-Night Host Staffing Costs

Hiring human livestream hosts typically costs $4 to $12 per hour, forcing most stores to shut down streams after 11:00 PM or during midday breaks.

AI-LIVESTREAM fills these "dead hours" (12:00 AM – 7:00 AM and lunch breaks), capturing late-night impulse buyers with zero incremental staffing overhead.


2. Sustaining Real-Time Engagement & Avoiding "Static / Re-up" Algorithm Penalties

Traditional pre-recorded video loopers are quickly flagged and throttled by TikTok and Shopee algorithms because their content is repetitive and completely disconnected from real-time viewer comments.

AI-LIVESTREAM generates authentic live engagement through 3 coordinated mechanisms:

  • Near-Zero Latency Hybrid RAG Replies: Buyer questions about pricing, sizing, or warranty policies are answered immediately (combining a high-speed Smart FAQ matcher with deep Gemini reasoning), keeping viewers in the room longer.
  • Priority Speech Queue: Automatically arbitrates speech priority:
    1. Instant thank-yous for viewer gifts (Gift).
    2. Direct answers to purchase intent comments (Comment).
    3. Personalized greetings for new joiners (Join) and heart taps (Like).
    4. Auto Idle Pitch product presentations whenever chat is quiet so the stream never goes silent.
  • Policy Safety Sanitizer: Automatically filters platform-prohibited keywords or spam before the AI speaks them aloud, protecting the seller account from compliance strikes.

3. Dynamic Product Pin & Foreground Podium Switching Based on Buyer Questions

The biggest conversion killer when streaming multiple SKUs with automated tools is a mismatch between audio and visuals: a buyer asks about Item #5 while the screen still pins Item #1, causing cart click-through rates (CTR) to plummet.

Clean 9:16 Stage Output for OBS / TikTok LIVE Studio

When a viewer comments a product name or SKU code, AI-LIVESTREAM detects context in real time to:

  1. Immediately switch the Product Pin Overlay on screen.
  2. Highlight that exact product on the Foreground Podium Layer, guiding the buyer’s eye straight to checkout.

4. Seamless Visuals & Studio-Grade Audio Ducking

Instead of robotic speech or jarring black frames during state transitions, the audiovisual pipeline is tuned to feel like a real broadcast studio:

  • Zero-Flicker Model Transitions: Supports paired real-model videos (Idle.mp4 while listening & Talking.mp4 while speaking) with real-time HTML5 Canvas Chroma Key compositing or audio-driven lip-sync (Web Audio API Analyser).
  • Neural Voices & Automatic Audio Ducking: Natural Vietnamese neural voices (Hoài My / Nam Minh) backed by a local tts-cache and automatic background music ducking whenever the host speaks.

Knowledge Base, SKU Catalog, and AI Host Admin Panel


5. Single 9:16 Broadcast Feed for Both TikTok Shop & Shopee Live

With a clean ?obs=1 vertical 1080x1920 output route, merchants only need one Browser Source inside OBS Studio or TikTok LIVE Studio to multi-stream simultaneously to TikTok Shop and Shopee Live on a standard desktop PC.


Open Source & Live Demo

The full source code is available on GitHub. If you run TikTok Shop or Shopee stores—or enjoy building applied AI systems for commerce—check it out here: