Testing AI pakai Deepeval – Part #1

Diperkenalkan dengan deepeval oleh salah satu mentor ku dan di series ini aku mau sharing journey ku belajar ngetest AI pakai Deepeval.

Bagi yang belum tau, Deepeval itu framework yg dipakai untuk ngetest AI (lebih tepatnya LLM application).

Dalam ngetest AI, tester perlu switch mindset. Bagi tester yg belum pernah ngetest AI (kayak aku), produk yg biasa ditest bersifat deterministik (istilah ini perlu diingat untuk future referene).

Deterministik dalam konteks ini → ketika input yang diberikan sama, maka output juga akan selalu sama (for more detail, check What Is Deterministic vs. Non-Deterministic… )

• Misal nih, dalam fitur login, ketika kita masukin kombinasi username-password yg salah, pasti kita nggak bisa login dan akan muncul pesan errornya.

Sedangkan AI itu sifarnya non-deterministik, alias walau kita ngasih input yang sama, output yg diberikan bisa berbeda-beda.

Nah, serunya disitu, yg di-test tuh tentang language or bahasa dan probabilitasnya, jadinya output yg digenerate oleh AI bisa bervariasi walau inputnya (promptnya) sama.

Bayangin, ada sinonim, antonim, ada juga dua kalimat yang terlihat sama padahal maknanya beda, atau sebaliknya, dua kalimat yg terlihat beda tapi maknanya sama, belum lagi kalo inputnya pakai singkatan or bahasa gaul dll.

Nggak ada yang saklek. Karna source inputnya dari manusia dengan segala keunikannya.

Sebagai tester kita juga perlu nge”jagain” AI-nya biar tetep sesuai scope, jangan tiba-tiba AI yg ada di chatbot produk e-commerce malah ngejawab pertanyaan politik. Itu bisa bahaya, dan mungkin bisa ngerusak citra brand.

Contoh lain, ngetest klaim dari perusahaan yg pakai AI di fitur chat mereka, misal “Membantu memudahkan pengguna”… langsung muncul nih pertanyaan, “memudahkan seperti apa yg dimaksud?”, “apakah dengan chatbot itu user jadi lebih cepat menyelesaikan permasalahannya?”, karna nggak jarang user yg dateng dengan keluhan, tapi ditanggapi oleh bot jadinya malah tambah menyulitkan bukan?

Karna banyak casenya itu tadi, mungkin dengan menggunakan framework deepeval ini jadi lebih terbantu untuk ngetestnya. Case pertama ngegenerate goldens a.k.a. test data (aliasa test case) untuk testing AInya, itu di next artikel yaw.