由 jpichiban Thu, 24 Oct 2024 15:31:12 GMT
在这篇文章中，微软公司关注你最喜欢的股票创建免费账户迪德姆·门特 | 阿纳多卢 | 盖蒂图片社OpenAI正在解散其“AGI准备”团队，该团队为公司提供关于OpenAI自身处理日益强大的AI能力以及世界管理该技术的准备情况的建议，据该团队负责人称。周三，AGI准备高级顾问迈尔斯·布伦代奇通过Substack帖子宣布离开公司。他写道，他的主要原因是机会成本变得过高，他认为他的研究在外部会产生更大影响，他希望减少偏见，并且他在OpenAI已经完成了他设定的目标。布伦代奇还写道，就OpenAI和世界在AGI准备方面的情况而言，“无论是OpenAI还是任何其他前沿实验室都未准备好，世界也未准备好。”布伦代奇计划启动自己的非营利组织，或加入现有的非营利组织，专注于AI政策研究和倡导。他补充说：“没有共同努力，AI不太可能达到尽可能安全和有益的程度。”据帖子称，前AGI准备团队成员将被重新分配到其他团队。“我们完全支持迈尔斯在行业外追求政策研究的决定，并对他所做的贡献深表感谢，”OpenAI发言人告诉CNBC。“他全心投入独立AI政策研究的计划使他有机会在更广泛的范围内产生影响，我们期待从他的工作中学习并关注其影响。我们相信，在他的新角色中，迈尔斯将继续提高行业和政府政策制定质量的标准。”今年5月，OpenAI决定解散其超级对齐团队，该团队专注于AI的长期风险，就在一年前宣布成立该团队后不久，一位熟悉情况的人士向CNBC证实。AGI准备团队解散的消息是在OpenAI董事会可能计划将公司重组为盈利性企业之后，以及三位高管——CTO米拉·穆拉蒂、研究主管鲍勃·麦格鲁和研究副总裁巴雷特·佐夫——在上个月同一天宣布离职之后。10月初，OpenAI以1570亿美元的估值结束了其备受瞩目的融资轮，其中包括从众多投资公司和大型科技公司筹集的66亿美元。该公司还获得了一笔40亿美元的循环信贷额度，使其总流动性超过100亿美元。一位熟悉情况的消息人士上月向CNBC证实，该公司预计今年在37亿美元的收入中亏损约50亿美元。9月，OpenAI宣布其安全与安全委员会将成为一个独立的董事会监督委员会，该委员会于5月在处理安全流程争议时成立。最近，它完成了对OpenAI流程和保障措施的90天审查，并向董事会提出了建议，结果也在公开博客文章中发布。高管离职和董事会变动的消息也紧随OpenAI在夏季不断增加的安全担忧和争议之后，该公司与谷歌、微软、Meta等公司一起处于生成式AI军备竞赛的前沿——预计这一市场将在十年内突破万亿美元收入——随着各行各业的公司争相添加AI驱动的聊天机器人和代理，以避免被竞争对手甩在后面。7月，OpenAI将顶级安全高管之一亚历山大·马德雷重新分配到一个专注于AI推理的职位，熟悉情况的消息人士当时向CNBC证实。根据普林斯顿大学AI倡议网站上马德雷的简介，马德雷曾是OpenAI的准备团队负责人，该团队“负责跟踪、评估、预测和帮助防范与前沿AI模型相关的灾难性风险”。OpenAI表示，马德雷在新角色中仍将从事核心AI安全工作。 当时，CNBC报道了这一消息。重新分配Madry的决定大约与民主党参议员向OpenAI首席执行官Sam Altman发送的一封信同时发生，信中涉及“关于OpenAI如何应对新兴安全问题的疑问”。这封由CNBC查阅的信件还指出：“我们寻求OpenAI提供更多信息，了解公司为履行其安全方面的公共承诺所采取的步骤，公司内部如何评估在这些承诺上的进展，以及公司识别和缓解网络安全威胁的情况。”微软在7月份放弃了其在OpenAI董事会的观察员席位，并在一封CNBC查阅的信中表示，由于对这家初创公司董事会的重组感到满意，因此可以退居一旁。自Altman短暂被罢免并威胁到微软对该公司的大规模投资以来，董事会已经进行了重组。然而，今年6月，一群现任和前任OpenAI员工发表了一封公开信，表达了尽管人工智能行业快速发展但缺乏监管和举报人保护的担忧。员工们在信中写道：“AI公司有强烈的财务动机避免有效的监督，我们不认为定制的公司治理结构足以改变这一点。”公开信发布几天后，一位熟悉此事的消息人士向CNBC证实，联邦贸易委员会和司法部即将对OpenAI、微软和英伟达展开反垄断调查，重点关注这些公司的行为。联邦贸易委员会主席Lina Khan将该机构的行动描述为“对AI开发者与主要云服务提供商之间形成的投资和合作伙伴关系的市场调查”。现任和前任员工在6月的信中写道，AI公司拥有“大量非公开信息”，关于其技术的能力、已实施的安全措施的程度以及该技术对不同类型伤害的风险水平。他们还写道：“我们也理解这些技术带来的严重风险，但公司目前只有微弱的义务与政府分享部分信息，对民间社会则毫无义务。我们认为不能完全依赖他们自愿分享这些信息。”OpenAI的Superalignment团队，去年宣布成立并于今年5月解散，专注于“科学和技术突破，以引导和控制比我们更聪明的AI系统”。当时，OpenAI表示将在四年内将其20%的计算能力投入该计划。该团队在其领导人、OpenAI联合创始人Ilya Sutskever和Jan Leike宣布于5月离开初创公司后解散。Leike在X上的一篇帖子中写道，OpenAI的“安全文化和流程已经让位于闪亮的产品”。Altman当时在X上表示，他对Leike的离开感到遗憾，并表示OpenAI还有更多工作要做。不久之后，联合创始人Greg Brockman在X上发布了一份声明，据称来自Brockman和CEO，声称公司“提高了对AGI风险和机遇的认识，以便世界能更好地为此做好准备”。Leike当时在X上写道：“我加入是因为我认为OpenAI会是世界上做这项研究的最佳场所。然而，我与OpenAI领导层在公司的核心优先事项上存在分歧已经有一段时间了，直到我们最终达到了一个临界点。”Leike写道，他认为公司应该将更多的资源集中在安全、监控、准备、安全和社 OpenAI必须成为一家“以安全为先的AGI公司”。他在X平台上写道：“打造比人类更聪明的机器本质上是一项危险的任务。OpenAI肩负着全人类的重任。然而，过去几年中，安全文化和流程被光鲜的产品所取代。”
原文链接：https://www.cnbc.com/2024/10/24/openai-miles-brundage-agi-readiness.html