#人工智能 #谷歌 6park.com
2023-05-13 18:54:09 6park.com
经济学人的文章说，开源人工智能发展迅速，带来了好和坏两方面影响。
技术人员通过编写软件改变世界，但这帮人也乐意用长篇备忘录来秀文字，其中最著名的几篇，可以代表计算机时代的一些转折。
想想比尔·盖茨1995年的 "互联网浪潮 "备忘录，一把就让微软的方向转向了网络；还有贝佐斯2002年的 "API授权 "备忘录，开放了亚马逊的数字基础设施，为现代云服务铺平了道路。
现在，科技圈又开始讨论另一份，这一次是从谷歌内部泄露出来的，标题是 "我们没有护城河"。备忘录作者未知，但是其中详细介绍了人工智能（AI）领域正在取得的惊人进展，并对这个快速发展的行业中一些公认的设想提出了质疑。
2022年底，随着会像人一样聊天的ChatGPT推出，AI突然进入公众的视野，OpenAI制造了这个由 "大型语言模型"（LLM）驱动的聊天机器人，而OpenAI又与微软密切相关。
ChatGPT一火，谷歌和其他科技公司都慌了，赶快发布他们自己的智能聊天机器人，各家公司生怕自己的产品不会聊天。这类系统可以生成文本并进行看上去很真实的对话，主要是基于互联网上提取的数万亿词汇进行的训练。
训练一个LLM需要数月时间，至少数千万美元。钱如流水，人们开始担心人工智能将被少数财大气粗的公司所垄断。
但谷歌的备忘录说，这种假设是错误的，指出开源社区的研究人员使用免费在线资源，现在正在取得与最大专有模型相媲美的结果。事实证明，LLM可以使用一种叫做低秩适应（"Low-rank Adaptation，LoRa）的技术进行 "微调"，使得现有的LLM能够为一项特定的任务进行优化，这要比从头开始训练一个LLM要快得多，也便宜得多。
Low-rank Adaptation"（LORA）是一种机器学习中用于数据适应的技术。它通过构建一个低秩（low-rank）结构，对原始数据进行变换和适应。这种低秩结构能有效地捕捉和利用数据中的底层结构，从而提高模型的预测性能。
开源AI在3月爆发，当时由Facebook母公司Meta创建的模型LLaMA 在网上泄露。虽然比最大的LLMS要小（最小的版本有70亿个参数，而谷歌的PaLM有5400亿个参数），但这个模型很快被微调，在某些任务上产生了与ChatGPT原始版本相当的结果。
谷歌备忘录作者写道："随着开源研究人员在LLaMA基础上相互合作，随之而来的会是大量创新涌现"。
"这可能会对人工智能行业的未来产生地震般的影响，"谷歌备忘录说，"培训和实验的门槛，已经从一个主要研究机构的总产出，降至一个人、一个晚上和一台强大的笔记本电脑。一个LLM现在可以在几个小时内以100美元的价格进行微调。"
凭借快速移动、协作和低成本的模式，备忘录中说，"开源有一些我们无法复制的显著优势"。因此，备忘录的标题是：这可能意味着面对开源竞争对手，谷歌没有 "护城河"。
对谷歌来说，好消息是OpenAI也是如此。
并非所有人都同意这一点。互联网确实是在开源软件上运行，但人们也在使用付费的专有软件，从Adobe Photoshop到微软的Windows，都是如此。此外，对AI系统进行基准测试，众所周知的难。然而，即使备忘录的内容只有部分是正确的，也至少暗示，比起一年前，获得AI技术的机会将更民主化。强大的LLMS可以在笔记本电脑上运行，任何想要的人现在都可以微调自己的AI。
这有积极和消极的影响。
从正面看，将使少数公司垄断控制人工智能的可能性大大降低，使获得人工智能的成本大大降低，加速整个领域创新，研究人员可以更容易分析人工智能系统的行为（他们对专有模型的访问是有限的），提高透明度和安全性。
但是，更容易获得人工智能，也意味着动机不良者将能够为邪恶目的对系统进行微调，如产生虚假信息。这意味着西方试图阻止敌对政权获得强大人工智能技术的努力将会失败。这会使人工智能更难监管，因为精灵已经出了瓶子。
谷歌及同类领先公司，是否真的失去了在人工智能领域的护城河，很快我们就可以看清楚。但与之前的备忘录一样，这个未知作者似乎写出了电脑时代的另一个转折点。 6park.com



贴主:laosanjie于2023_05_14 17:35:11编辑