即使是政府成员也对该制度实施的停止感到惊讶。2024年1月，加泰罗尼亚政府司法顾问Gemma Ubasart在全体会议3月份，欧洲议会批准了《人工智能法案》（AI Act），“公共管理部门不能忽视围绕欧洲人工智能新法规的辩论”，“更谨慎的做法是不要继续进行这个项目”
八个月前，司法部在Mas d'Enric监狱启动了一个试点项目，并向本应提供该软件的法国Inetum公司拨款20万欧元。公开招标的说明性时间表表明，培训阶段将于2023年10月开始。然而，该项目从未达到这个阶段。
地区司法部（DOJ）声称，该项目处于“非常初步的规划阶段”，“尚未实施”。事实上，当政府开始合同终止过程时，仍有“数据保护影响分析”等待进行，正如在回应我们的信息自由（FOI）请求时简要解释的那样。
司法部没有提供有关使用的算法模型、他们可以访问的数据库或用于创建风险预测的数据的进一步详细信息。该部门以“该计划尚未制定”为理由，为其拒绝辩护，使政府似乎对该计划的运作方式只有粗略的了解。
行为预测和现场监测
公共合同的技术规范描述了一个功能齐全的交钥匙计划。乌巴萨特解释说，“该项目被认为是概念验证，是任何试点测试之前的可行性研究。”然而，该系统超越了理论原型。
这一“基于人工智能的技术解决方案用于预测和预防内部安全事件”的合同文件列出了三个用例：预测机构内暴力的风险；预测囚犯引入违禁物质和物品的可能性；以及监测已有逃跑风险的囚犯。它们都由一套硬件和软件解决方案支持。
首先，该程序在现有加泰罗尼亚监狱信息系统中“自动”搜索“与囚犯相关的数据和线索”，其中包括刑事执法信息系统和青年司法信息系统——以及“其他机构来源”。合同中没有提及哪一个。然后，该软件根据对囚犯行为的评估来分配风险状况，并对他们是否可能具有“攻击性”进行分类。
对于第二个用例，合同提到了安装“面部识别和视频分析摄像头”。这些摄像头应该能够“实时检测表明非法行为的非语言表达和态度”。换句话说，囚犯的每个动作和表情都会进行现场分析，并被视为可能可疑。每一个手势都为算法预测“引入违禁物质或物体的风险”提供了依据。特别是在探监（包括夫妻探监）之后，对囚犯进行拍摄。
公共合同提到实施一个完整的自动化系统，可以访问囚犯的数据、线索和信息，包括生物特征。该系统需要向监狱官员发送警报并生成事件报告。
缺乏科学证据
该程序的大部分内容都依赖于对情绪和行为的识别来预测情况。但当被问及开发者赖以证明其有效性的科学文献时，Generalitat保持沉默。“我们没有这方面的信息，”司法部回应我们的信息自由请求。
情绪识别的有效性仍然存在争议。Lafede.cat数字化主管Judith Membrives表示：“这方面有很多科学争议。不同文化和背景下的情绪及其表达方式差异很大。”。这并没有阻止AI爱好者、教育中心和机构冒险购买并使用基于伪科学的技术.
“通过声称推断出人们的‘真实’内心状态并根据这些推断做出决定，情感识别技术将巩固人们作为基本事实的武断假设，”情感纠结报告该全球组织主张禁止开发、测试、部署和销售这些技术，因为它们“侵犯了几项基本权利”，“根本不起作用”
Judith Membrives解释说，缺乏支持这项技术的可靠证据“并不能阻止它在监狱等不太严格的地方进行测试”。巴塞罗那大学刑事制度和人权观察站院长伊娜基·里维拉补充道：“对囚犯行为和面部表情的持续监视侵犯了他们仅存的一点隐私和亲密关系。”。他认为这是现代科技版的边沁的全景在那里，监督员不断从各个可能的角度监视囚犯，但从未见过他。
不可避免的是，西班牙司法和监狱管理部门为开发风险评估算法奠定了基础。这个VioGén算法自2007年以来，已在全国范围内用于评估基于性别的暴力受害者遭受第二次袭击的风险。它已经被用于至少600万个案例。在加泰罗尼亚，里斯坎维自2010年以来，该软件一直用于监狱，以评估囚犯获释后再次受到保护的风险。然而，由于当局缺乏透明度，它们仍然是不透明的系统。
未来的AI法案，已经是一种威慑
与当地政府可能预期的相反，该系统推出后不久，猫就被放走了。Iñaki Rivera谴责整个决策过程的普遍不透明性：“政府在启动决策过程时没有提及这一点，也没有在议会中进行辩论，甚至没有指望人权组织。”Rivera特别关注系统收集的信息的存储：“谁接收它？谁控制它？”？谁可以访问它？是否有一个专家委员会负责监督这一切？”
巴塞罗那大学刑事制度和人权观察站与包括世界禁止酷刑组织在内的40个非营利组织在一份联合新闻稿中谴责使用该软件，他们在其中称之为“基本权利的新挫折”
随着未来欧洲对人工智能的监管即将完成，加泰罗尼亚政府倾向于谨慎行事，并终止该项目。尽管缺乏透明度，但民间社会组织和个人欢迎这种取消。所有接触过的人都认为这是《人工智能法案》的第一个影响，尽管文本尚未生效。
