智能应用实时监测:AI控制中心抵御有害用户输入

智能应用实时监测:AI控制中心抵御有害用户输入

人工智能观测初创公司WhyLabs推出了一个新的人工智能产品,该产品将实时控制其人工智能应用的输出。该平台名为AI Control Center,旨在监控和控制人工智能解决方案的运作,以确保其可靠性和安全性,因为传统的监控系统无法可靠地观测人工智能。

WhyLabs推出AI Control Center
该公司表示,当前企业面临许多挑战,尤其是在LLM方面。公司团队必须确保及时的注入攻击不会使LLM容易受到攻击,以免提供有害或不准确的输出,损害声誉。

该公司的解决方案可以通过实时评估LLM的运作来解决这些问题。它可以处理对LLM可能存在问题的各个方面,例如用户提示、生成响应的过程(RAG)以及其产生的反馈。WhyLabs的首席执行官兼联合创始人Alessya Visnjic提到,传统的可观测工具只能进行被动监控。

根据Visnjic的说法,传统监控和人工智能可观测性的区别在于关键点在于寻找风险因素的测量和一致测量方法的采用。她说,AI Control Center可以为公司提供人工智能应用程序性能的实时控制,帮助网络安全和业务团队应对许多风险。企业可以微调可观测性系统,并为高级威胁检测设置自己的规则,从而实现更精确的控制,这也可以是一种持续的应对新兴威胁的过程。

通过这种方式,团队可以基于与用户的人工智能应用交互构建高质量的数据集,因为该平台还允许对随时间出现的问题进行调查。WhyLabs AI Control Platform现在可以提供这些功能,同时还提供许多其他用于人工智能模型性能的工具,因为该公司凭借1400万美元的支持正在扩大其产品。主要投资者是贝佐斯探险(Bezos Expeditions)和AI基金(AI Funds)以及Madrona Venture Group。

原始故事请见此处。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注