NVIDIAは、エンタープライズ規模で安全かつ制御されたエージェンティックAIの展開を促進するため、
新しいNIMマイクロサービスを含むNVIDIA NeMo Guardrailsを発表したそうです。
AI技術の急速な進化に伴い、企業におけるAIエージェントの活用はますます広がりを見せています。
しかし、その一方で、AIの倫理的な問題や予期せぬ動作によるリスクも懸念されているのも事実です。

今回のNeMo Guardrailsで強化されたのは、新たに発表された「NIMマイクロサービス」です。
これはAIエージェントの動作を監視し、問題のあるコンテンツや行動をブロックする機能を提供します。

・コンテンツ安全NIM：
　有害なコンテンツや非倫理的な出力を検出・ブロック。
　35,000以上の人間による注釈付きデータでトレーニングされた精度の高い保護機能を提供。

・トピック制御NIM：
　会話を承認されたトピックに限定し、不適切な方向への発展を防止。
　自動車メーカーの事例では、製品情報に特化した応答のみを許可する運用が可能に。

・ジェイルブレイク検出NIM：
　17,000の既知の攻撃パターンを基に、AIシステムへの不正な操作試行を検知・防御。

昨今AIの利用が当たり前な世の中になってきましたが、
記事なる通り、倫理的な問題及び予期せぬ動作によるリスクは確かに懸念点だと思います。
このようにNVDIAからリスクを軽減するための取り組みが出てくるのは1つ安心材料になると思います。

今後はAIの画期的な使い方を同じくらい、リスク軽減のための施策を扱ったニュースが
出てくるかもしれませんね。
　

<元記事>
NVIDIA、エージェンティックAIの安全性を強化する新機能「NIMマイクロサービス」を発表
https://enterprisezine.jp/news/detail/21246