Box Integrasi Nemotron Nvidia untuk Sistem Pencarian Konten Agent-First yang 4x Lebih Cepat

Box baru saja mengumumkan peluncuran Box Content Retrieval, sebuah fitur revolusioner yang mengintegrasikan sistem embedding Nemotron dari Nvidia ke dalam inti produknya. Diumumkan dalam konferensi pengembang pada Kamis, fitur ini dirancang untuk memungkinkan agen AI menjawab kueri pengguna dengan jauh lebih efektif, cepat, dan hemat biaya dibandingkan metode pencarian konvensional.

Integrasi ini menandai pergeseran strategis di mana Box tidak lagi bergantung pada pencarian kata kunci sederhana, melainkan memanfaatkan metadata tersembunyi yang dihasilkan oleh model Nemotron. Dengan pendekatan 'agent-first' ini, sistem dapat memproses permintaan kompleks yang diberikan oleh agen AI, memastikan bahwa hasil yang dikembalikan adalah potongan dokumen yang paling relevan dengan tugas spesifik yang sedang dilakukan.

Performa Superior dan Efisiensi Token

Kari Briski, VP software AI generatif di Nvidia, menjelaskan kepada TechCrunch bahwa implementasi ini diproyeksikan akan menjawab kueri empat kali lebih cepat. Selain kecepatan, akurasi juga meningkat signifikan dengan penurunan tingkat kesalahan sebesar 20%, serta efisiensi penggunaan sumber daya yang drastis melalui pengurangan 90% token yang digunakan. Penurunan penggunaan token ini berdampak langsung pada pengurangan biaya operasional bagi perusahaan yang menggunakan layanan tersebut.

• Kecepatan respons kueri meningkat hingga 4x lipat.
• Tingkat kesalahan pencarian berkurang sebesar 20%.
• Penggunaan token AI berkurang hingga 90%.

Fitur ini akan tersedia untuk seluruh pelanggan Enterprise Advance dari Box, dengan rencana peluncuran awal tahun depan. Sistem ini memanfaatkan model embedding open-weight dari proyek Nemotron, yang baru-baru ini menduduki puncak benchmark RTEB untuk kualitas pencarian, menunjukkan keunggulan teknisnya dalam memetakan konsep dasar di balik kata kunci.

Dampak pada Profesional dan Kompleksitas Teknologi

Aaron Levie, CEO Box, menekankan bahwa teknologi ini secara drastis meningkatkan relevansi pencarian untuk agen. "Alih-alih agen harus membaca setiap dokumen, kami dapat mengirimkan kembali potongan dari dokumen yang paling relevan dengan kueri pengguna," ujar Levie. Contoh konkret diberikan untuk para pengacara, yang kini dapat menemukan klausul dan preseden hukum yang relevan dengan lebih mudah, bahkan jika menggunakan bahasa atau perumusan yang berbeda, karena Nemotron memetakan konsep di balik kata kunci.

Meskipun model Nemotron tersedia secara gratis, Levie mengakui bahwa mereplikasi sistem ini dari nol akan sangat menantang karena ketergantungan berat pada kontrol izin dan metadata yang sudah ada di Box. "Kami kemungkinan besar memasukkan lima teknologi berbeda ke dalam satu API sederhana," kata Levie, menyoroti kompleksitas di balik antarmuka yang tampak mudah bagi pengguna akhir.