在线隐私和过度捕捞

微软最近抓获国家支持的黑客使用其生成性AI工具帮助他们进行攻击。在安全社区,眼前的问题不是黑客是如何使用这些工具的(这完全可以预测),而是微软是如何解决的。自然的结论是,微软正在监视其AI用户,寻找工作中的有害黑客。

一些被推回将微软的行为定性为“间谍”课程云服务提供商监控用户正在做什么。因为我们预计微软会这样做,所以称之为间谍是不公平的。

我们将这一论点视为我们改变集体对隐私期望的一个例子。为了了解发生了什么,我们可以从一个不太可能的来源学习:鱼。

20世纪中叶,科学家们开始注意到,海洋中的鱼类数量由于过度捕捞而开始迅速减少,因为海洋中的鱼数量之大,足以成为“海里有很多鱼”这句话的基础。当二战后捕鲸业几乎使许多物种灭绝时,他们已经看到了鲸鱼数量的类似下降。在捕鲸和后来的商业捕鱼中,新技术使人们更容易发现和捕捉数量越来越多的海洋生物。生态学家,特别是从事渔业管理的生态学家开始研究某些鱼类种群是如何以及何时严重下降的。

一位科学家,鲍利,意识到研究鱼类种群的研究人员在试图确定可接受的捕捞量时犯了一个重大错误。这并不是因为科学家没有认识到鱼类种群的减少。只是他们没有意识到下降的重要性。保利指出,每一代科学家都有不同的基线来比较当前的统计数据,而且每一代的基线都低于前一代。

在我们的安全社区中,似乎正常的是在我们开始的时候司空见惯的事情职业.

保利称之为“基线偏移综合征“在1995年的一篇论文中。大多数科学家使用的基线是他们开始研究生涯时的正常基线。从这个标准来看,随后的每一次下降都不显著,但累积的下降是毁灭性的。每一代研究人员都是在一个新的生态和技术环境中长大的,无意中掩盖了指数级的下降。

保利的见解来得太晚,无法帮助那些管理一些渔业的人。海洋遭受了诸如完全坍塌20世纪90年代西北大西洋鳕鱼的数量。

互联网监控以及由此导致的隐私损失也在沿着同样的轨迹发展。正如世界海洋中的某些鱼类种群已经下降了80%,而之前的下降幅度是80%,而此前的下降幅度则是80%(无限大),我们对隐私的期望也同样急剧下降。现代技术的普遍性使监控比以往任何时候都更容易,而每一代公众都习惯了年轻时的隐私现状。在我们的职业生涯开始之初,在安全界看来很正常的就是那些司空见惯的事情。

历史上,人们控制着自己的电脑,软件是独立的。软件和服务的始终连接的云部署模型改变了脚本。大多数应用程序和服务设计为始终在线,向公司反馈使用信息。这种现代部署模式的一个后果是,每一个使用现代技术的人,甚至普通用户,都希望您使用现代技术所做的事情不是私密的。但这是因为基线发生了变化。

AI聊天机器人是这种现象的最新体现:它们根据您的输入生成输出,但在幕后有一个复杂的基于云的系统跟踪输入,以改进服务和向你推销广告.

改变基线是我们集体失去隐私的核心。美国最高法院长期以来一直认为,我们的隐私权取决于我们是否有合理的对隐私的期望但预期是一件难以捉摸的事情:它会受到基线变化的影响。

问题仍然是:现在怎么办?掌握了转移基线综合征知识的渔业科学家现在着眼于全局。他们不再考虑相对的衡量标准,例如将这十年与过去十年进行比较。相反,他们从整体、生态系统的角度来看,健康的海洋生态系统以及可持续捕捞应该是什么样子。然后,他们将这些科学得出的可持续抓取数据转化为监管机构编纂的限制。

在隐私和安全方面,我们也需要这样做。我们需要退一步,看看一个健康的技术生态系统会是什么样子,而不是与一个不断变化的基准进行比较:一个尊重人们隐私权的生态系统,同时允许公司收回其提供的服务的成本。归根结底,就像渔业一样,我们需要从大角度出发,注意基线的变化。为了为下一代保护遗产,无论是海洋还是互联网,都需要一个科学的、知情的、民主的监管程序。

这篇文章是与巴拉斯·拉加万(Barath Raghavan)合著的,之前发表于IEEE综览.

编辑补充(6/23):这篇文章已被翻译成德语。

发布于2024年6月5日上午7:0024条评论

评论

韩国。2024年6月5日上午7:39

秸秆生成/数据库中毒需要变得容易获得和主流化。一般人群都采用了广告屏蔽,没有理由在这里不能做到同样的事情。

只有在生成的数据基本准确的情况下,才能进行大规模商业监视。低估了准确性,没有充分的理由实施工业规模的隐私侵犯。

与上述相关,我真的很喜欢我在这个博客上读到的所有园艺建议。

艾伦2024年6月5日上午7:43

最近微软召回公告最令人惊讶的是,即使在我工作的国防部社区,人们的反应也是如此沉默。最初的震惊在一两天内就被接受了。即使在10年前,也没有人会接受它。

韩国。2024年6月5日上午8:11

@艾伦

我认为与MS关于召回的斗争将通过JITC进行,我无法想象它会被用于国防部部署。唯一的问题是,是否所有人或只有政府人员都可以选择退出。

jg公司2024年6月5日上午10:21

曾经有一段时间,每张桌子上都有(至少一台)电脑。我们通过POTS模拟电话线登录到一个大型共享系统。史前到“历史上,人们控制着自己的电脑,软件是独立的。”

丹尼尔·波佩斯库2024年6月5日上午10:34

布鲁斯,钓鱼的比喻和不断变化的基线非常准确。在我职业生涯的初期,我曾服务和维护过许多不同的复杂实验室设备,从简单的分析天平和电子移液管到HPLC、气体和质谱仪等等,要向高级管理层和科学家解释这些设备的用户是谁,为什么调谐、校准和定期维护如此重要,而且(对他们来说)成本高昂,总是很难做到:如果你想要好的结果,你需要一个完美的基线。

然后我成为了一名ISO 17025审核员,解释和接受变得更加容易,我离开了公司:)。

詹姆2024年6月5日上午10:34

Allen和K.S.,“JITC”是指美国国防部的一部分。真的会有“战斗”吗?我相信任何域管理员都可以通过组策略禁用该功能,军队也是组策略的忠实用户。应该他们会反抗吗?不会的直接地伤害他们,但如果公众失去了对计算机保密的任何期望,可能会产生有害的后续影响(例如,与人们如何对待机密数据有关)。或者军方和政府可能会以相反的方式利用它:发送所有截图管理层一旦计算机用户习惯了某人将获取他们的数据。

艾伦,你的“没人会接受”故事让我想起了Windows(XP)产品激活。我当时的大学同学和互联网上的大多数人都说了同样的话;这太令人愤慨了,我们不会容忍这种情况,我再也不会使用Windows了,等等。一个朋友真的改用了Mac。其他一些人暂时改用了Windows 2000,但最终又回到了主流版本,显然他们已经不再关心了。最终,没有证据表明这一决定对微软的利润有任何重大损害,而微软从未改变这一决定。

布鲁斯和所有人,我忍不住注意到与“过度捕捞”相关的人类中心主义偏见。“渔业”这个词听起来像是为了满足人类的需要而发明的,实际上它主要指的是人类捕鱼的地方,也就是我们发现有利可图的地方是自然发生的。“鱼类种群”的概念具体指的是捕获和出售鱼类的人“感兴趣”的鱼类种类。我不确定这是否与布鲁斯的观点有关。但是,这是一种测量偏差;而且,假设受伤害的人大多是人类(以鱼为食)。也许鱼已经变得更难捕捉了,因为它们已经移到了更远的海域或海底;或者被其他物种完全取代。

我想知道是否也有一部分私密的人,基本上没有被公众注意到。例如,我不想携带手机,因为我不想被跟踪,但在任何地方都没有通电手机的想法似乎对许多人来说都是完全陌生的;在新冠肺炎疫情初期,有几次我不得不向某人解释,我无法在抵达时给他们的公司打电话,也无法填写在线健康问卷(不可避免的是,他们并不真的在乎;这是安抚其他客户,也许还有政府的“安全剧场”)。或者,如果你正在使用谷歌分析、软件遥测等来了解你的观众,请记住我们中的一些人会屏蔽这些东西。如果你屏蔽了“TOR国家”,并在“被屏蔽的恶意请求”数量增加时自鸣得意,那么,这就是确认偏见;一个好的数据科学家应该总是考虑可伪造性。

网络表演2024年6月5日上午11:01

尊重人们的隐私权,同时允许
公司将为其提供的服务收回成本。

我会把那句话停在“权利”这个词上,然后保存下来
11个单词Bruce。🙂

没有人允许科技公司将私人数据视为
实际货币。我所知道的任何人或法律制度
默许或附带地,准许将这种安排强加给
社会。“我们用数据支付服务费用”的想法是
未经检验的美国西部文化虚构。

我既不要求也不希望受到伤害
我会很高兴地用真钱为他们买单吗
与我选择的我信任的实体的技术事务。

没有人欠这些人一条命。我们需要的基准“期望”
调整是BigTech对慈善实物补贴的期望
法律例外主义。

顺便说一句,移动基线观测是有用的,而且是明确的
一些安全工程师可以更加注意的事情,以扩大我们的
范围。

对于那些好奇的人,我强烈建议研究弗雷斯特的工作
和梅多斯。有一段很好的视频是Dana演讲的地方
关于捕鱼、倾覆点和绝对测量问题
同时采样。宏观系统理论对于理解
网络安全的某些部分,这些是我们经常访问的主题
网络秀。

当做,
安迪

什么价格常识?2024年6月5日上午11:37

@布鲁斯·施耐尔

“在安全领域,眼前的问题不是黑客如何使用这些工具(这完全可以预测),而是微软是如何发现的。自然的结论是,微软正在监视其AI用户,寻找工作中的有害黑客。”

我们知道微软正在进行“间谍活动”,正如这篇博客上所说“LLM和ML AI是收集PPI的监视工具”。或者已经输入

https://www.schneier.com/blog/archives/2024/02/microsoft-is-spying-on-users-of-its-ai-tools.html/

“因此,基于LLM的AI系统的当前所有者唯一能够拿回资金并从中获利的方式就是作为“监视引擎”。

记住,

“Bedazzle、Beguile、Bewitch、Befriend和BETRAY”

因为这只是表明它已经在全面进行中,你的所有隐私都将被“剥光”并被反复出售。

“个人计算”的时代早已被“监视征兵”所取代,你输入视图或做的每件事都将成为你记录的一部分。

现代红衣主教黎塞留(Cardinal Richelieu)会轻敲键盘上的几个键,某人的唱片会满足试播的需要。一个可能无辜的人将被绞死在高处,以满足这种表演审判所产生的嗜血野兽的欲望。

肯特·K2024年6月5日12:14 PM

这个类比也很清楚地解释了为什么我们中的一些年长的暴徒会说年轻一代不关心数据隐私。然而,他们确实在意,只是他们的操作基准与我们不同。他们没有提到我们20年、30年或40年前看到的情况。就一个共同的标准达成一致将是一个有用的(但可能是堂吉诃德式的)练习。

哈尔2024年6月5日12:36 PM

@jg史前,你可能不得不把一盘订购的穿孔卡片带到计算机室。在此之前,“计算机”是一个人类的职称。

詹姆2024年6月5日12:52 PM

赛博会写道:

我所知道的任何人或法律制度都没有允许将这种安排强加给社会,即使是默许或偶然的。

人们每次接受这样的安排时都会给予默许;法律体系每次都会对侵犯隐私权行为处以毫无意义的罚款。

或者,作为一个具体的例子,个人信用评级在20世纪60年代之前几乎不存在,美国社会保障卡明确表示,它们不用于身份验证。无论如何,公司开始请求SSN,人们提供了SSN,政府最终删除了这条允许默认的消息。美国政府也开始对信贷机构进行监管,从而默许所有先前未明确禁止的行为;值得注意的是,任何公司共享数据都不需要征得同意。

欧盟一直在明确修改其隐私法,以确保美国仍能处理他们的数据。Safe Harbor被法院击落,所以它就是Privacy Shield;法院后来宣布,只有在数据共享多年后,才是非法的,现在是数据隐私框架。当发现欧盟阻碍现状时,欧盟并不是唯一明确减少保护的国家。一旦2000年实施了加拿大隐私法(PIPEDA),未经同意在电话簿中公布用户姓名显然违反了该法;但法院和/或监管机构表示,这没关系,基本上是因为人们已经开始期待这种侵犯隐私的行为(而且,人们可以为隐私付费,或者免费提供假名)。

潜伏者2024年6月5日下午2:25

@布鲁斯

当然,“改变基线综合症”一定是培养这些科学家的教育体系的一个弱点。为什么他们从不回顾历史数据?

与计算机网络类似,我的个人经历并没有追溯到@jg的POTS连接,但我认识使用过它的人。即使网络拓扑和技术不断发展,我们的连接也总是处于边缘,所以网络总是“在那里”。任何需要持续连接到“云”的系统都是“这里有龙”的例子。用户未能使用捕龙措施就是失败。虽然我很讨厌微软,但我并不怪他们在可能的地方利用了机会。

什么价格常识?2024年6月5日下午6:03

@哈尔
@jg公司
@潜伏者
@所有

“史前,你可能……”

你忘了

  1. 有线集成器
  2. 轨道运行长度上的调整螺钉

在旧的电子和机械“模拟计算机”上,我们现在充其量只能称之为“图形计算器”。

(这两件事我都做过,但让我们把诺比特的“阶梯逻辑”略去。)

但这种计算机引擎在二战期间和越南战争期间,从飞机和战舰上获得了炸弹和炮弹瞄准镜,并用于运载男女进入太空并安全返回的火箭。

即使是现在,在机械车间里仍然可以找到“机械计算器”,用于切割金属“工件”项目。

在过于昂贵的“计算机数字控制”(CNC)机器之前,它们曾经是,现在仍然是更强大的设计,实际上,它们是与3D打印机相反的“减法”设备,是“加法”和流行的。

哦,每年数以千万计的人使用的电子电路之所以被称为“运算放大器”,是因为它是“运算放大器(Operational amplifier)”的缩写,是模拟计算机中主要的支撑元件,如今几乎所有的模拟电子电路中都可以找到它,即使是更精细的“仪表放大器”形式。

世界在转动,很多东西都消失了,似乎被遗忘了……但有些东西仍停留在最初想象不到的地方和方式上😉

顺便说一句,在织布机之后,你能称之为计算机的最早机器是“模式切割机”,它见证了美国内战期间的主要服务,大量削减了数以万计的步枪库存和类似部件……可悲的是,当你想起来,没有什么比大规模杀人更能实现自动化了🙁

回声2024年6月6日凌晨3:35

我会把那句话停在“权利”这个词上,然后保存下来
11个单词Bruce。

这是至关重要的,也是这个博客上的一个明显盲点,也是其他地方制造的漏洞。它肯定是被贪婪利用的,但也被政治利用。这就是为什么我不认为美国是值得信赖的合作伙伴。至于俄罗斯和中国?是的。

在英国,保守党正在走这条路。值得庆幸的是,他们在民意调查中大获全胜,但在他们被绞死、拉拢、四等分,遗体散落在地球的每一个角落之前,我不会感到一丝舒适。

小狗血管2024年6月6日下午3:53

https://www.fastcompany.com/91132643/how-to-find-the-balance-between-telling-it-like-is-and-displaying-good人际交往技能

=现代自助建议往往促使我们减少对他人想法的烦恼,表达我们真实的想法和情绪,而不必担心后果,并选择激进的坦率而不是礼貌的避免冲突。根据这一建议,即使谎言的目的是增进信任和促进积极的工作关系,但伤害性的真相比安慰性的谎言要好。这种观点认为,真相最初是痛苦的,但最终是甜蜜的,而谎言则恰恰相反(双关语)。

通常情况下,我们的同事不会太在意我们对不同问题的深层思考,尤其是当这些问题与工作无关时。仅仅因为你的观点有争议,并且可能会让他人感到不安,并不意味着这些观点是对的(就像观点的传统性质不会让它们错一样)。事实上,通常情况下,实事求是地告诉别人并不代表有智慧。社交能力差,如果不是你太以自我为中心而不在乎别人怎么想的迹象,那就给人留下你对别人怎么想,给人留下一种你无法想象他们的观点是对的,而你的观点是错的印象。

也就是说,如果你总是告诉别人他们想听到的,你不会被视为社交能手或情感智者,而是一个骗子、骗子或骗子。我们都见过这样的人:一个总是赞美所有人的人,过分积极和蔼,从不公开反对任何人的人。当有人越过政治技巧和表现得像政治家之间的界限时,这是一个痛苦的时刻。

信任那些太不体谅他人而无法调节或缓和自己暴躁的想法和消极观点的人可能也是有风险的。

虽然虚假的礼貌可能比真正的粗鲁更可取,但它们同样与信任不相容,并可能抑制与他人的联系。

与发表自己的意见相比,你在多大程度上关心他人的反应?你宁愿说出你想要的但伤害了他们的感情,还是专注于建立或维持积极的关系,即使不需要表达你的观点?

例如,你的同事听到你对即将到来的总统选举、堕胎、地缘政治和中东危机的感受有多重要?

一般来说,两极分化的观点只能实现两个结果:要么加强你和那些与你想法相似的人之间已经存在的部落联系,要么对抗那些不喜欢你的人(或两者兼而有之)。人们很少改变他们对与他们的价值观、经历和身份密切相关的问题的看法。

要明白,表达自己的观点可能会引发冲突和对抗,所以一定要选择战斗。就像如果你总是同意所有人的观点,你就没有任何可信度一样,如果你总是不同意所有人对所有事情的看法,你也不会被认真对待。

如果你希望说服人们像你一样思考,那么一定要评估这个目标是否可以实现,以及赢得或输掉争论的利弊。

重要的是,你如何做到这一点比你做什么和为什么做更重要(见下一点)。

人们关心的不是你的观点,而是你表达观点的能力,这种表达方式体现了对社会规范、主流礼仪的意识,从根本上讲,是一种考虑他人观点和感受的尝试。

如果你努力让别人理解你的观点,人们会更容易接受你的观点。>不要低估或光顾他们,并表现出欣赏细微差别、警告和对问题的不同观点的能力。

你的自信程度不需要与自信或傲慢相提并论。如果你注入一剂谦逊和同理心,你更有可能说服他人,或者至少鼓励他们考虑你的观点。

如果你想鼓励别人告诉你他们的真实想法,你最好表现出一些宽容、开放的心态,以及即使在别人不同的时候也能与他们联系的能力。”

什么价格常识?2024年6月7日上午7:49

@霍华德纽约

从查理写得很好的关于MS Co-Pillock的文章结尾

“一些评论家认为,微软真的很想让2025年成为桌面Linux年,现在很难反驳他们。”

我立刻想到了那句老话:,

“当敌人犯错时,千万不要打断他”

(被《孙子兵法》中的孙子误认为是“老骨头”拿破仑·波拿巴(Napoleon Bonaparte)兼法国皇帝,就像尼禄皇帝一样经常演奏小提琴)。

詹姆2024年6月7日上午11:22

微软自杀?不,我认为查尔斯和你们都低估了这种“基线效应”。我已经提到了产品激活。关于Windows10及其数据收集的隐私影响,也有各种各样的媒体。“律师、医生、会计师等在处理客户数据的系统上使用Windows 10是否合法?”有多少这样的办公室实际上放弃了微软的东西?

微软很清楚,这种愤怒是有循环的。媒体抓住了它,大肆宣传了一段时间……但只要微软不眨眼,它就会死灰复燃。因为人们需要Windows,对吗?不需要Mac和Linux(包括SteamOS);当MS感到不安时,他们可以很方便地说出自己的名字,但投诉者大多不愿意处理继续威胁带来的不便。

詹姆2024年6月7日下午1:19

好吧,我想我必须收回我的评论,至少在一定程度上:在安全冲突后,Microsoft将默认关闭召回:

微软公司副总裁Pavan Davuluri[,]在博客中写道:“我们正在更新Copilot+PC的设置体验,让人们可以更清楚地选择使用Recall保存快照。”。“如果您没有主动选择打开,则默认情况下会将其关闭。”

(方括号表示我对语法进行了更正;显然,微软和Wired都不再为文案编辑操心了。)

什么价格常识?2024年6月7日下午3:16

@詹姆

“律师、医生、会计师等在处理客户数据的系统上使用Windows 10是否合法?”

这取决于情况。

计算机是否连接到一种通信方法,通过这种通信方法,不知情的其他人可以看到特权对话/信息?

历史表明,法律界人士以前曾因在公共场所用笔和纸写字而受到谴责。因此,你可以假设,使用一种不仅可以从物理上而且可以从电子上看到的现代设备,也会面临同样或类似的谴责风险。

然而,我们知道,在美国,第三方电信供应商不仅记录了来自美国监狱的特权电话,而且特权电话的详细信息最终掌握在调查人员(即检察官)手中。法院或政府没有采取任何实际行动。

然而,除了“内幕交易”之外,我甚至不知道有任何关于美国使用电脑的讨论。然而,当法律界首次提出电子法院系统时,他们对英国的电子法院系统提出了反对意见,事实上,该系统在19世纪中期被踢进了草丛,最终死亡。

Oh和英国国会议员收到了MS Office 360,所有内容都将发送到爱尔兰共和国的服务器…是的,其中包括“国家安全”或“特权”或其他披露限制。当GCHQ负责人向议会委员会作证时,我们发现所有议员的流量都被GCHQ记录下来,议员们不应该期望有隐私…

所以我不希望在电子通信中存在任何法律特权,除非你采取特别的预防措施。目前的商业或消费品都没有一个能与之相提并论。

一只Nonny兔子2024年6月7日下午3:47

好吧,至少指数下降比线性下降好。

线性100、90、80、70、60、50、40、30、20、10、0
指数100,90,81,72,64,57,51,45,40,36,32…

无尽的旅程2024年6月7日下午4:24

@一只小兔子

“嗯,至少指数下降比线性下降好。”

只有当你永远不想去那里…

有点像以前

“关上但没有雪茄”

但也有人说

“这一切都是关于旅程,而不是目的地”

你可以选择…

我这些天喜欢坐着休息,我经常爬上许多山,从降落伞上跳下来,航行到很少有人能看到的世界。我在沙漠中爬行,打过比我记忆中更多的仗,最后向战友们道别时常常哭。这些和更多的东西应该让我“老练”。

但现在,我唯一想永远继续的冒险就是和我身边的人在一起。早晨的微笑,一天结束时的宁静叹息,这些是生命中真正的财富,尽你所能珍惜它们。

感激地2024年6月9日下午3:54

@博士。施耐尔,看起来当

需要民主的监管程序

作为一个基线,在许多关键方面,社会仍然是一只煮青蛙。

留下评论

所有评论现在都被保留下来,以进行适度调整。有关详细信息,请参阅此博客帖子.

登录

允许的HTML•<a href=“URL”>•<em><cite><i>•<strong><b>•<sub><sup>•<ul><ol><li>•<blockquote><pre>额外降价语法通过https://michelf.ca/projects/php-markdown/extral/

Joe MacInnis拍摄的Bruce Schneier的侧栏照片。