各位,欢迎阅读「硬核周报」。
上一期,我们聊了 ChatGPT 对搜索引擎的革新意义。
在这一期,我精选了这段时间以来我看到的关于 ChatGPT 的文章、网站和项目,东西不少,大家可以分时阅读。
科技评论
ChatGPT Is a Blurry JPEG of the Web
前段时间,科幻作家 Ted Chang 在 The New Yorker 上发表的一篇科技评论传遍了全网。如果不想看英文,你可以看这篇中文翻译转载。
Ted 在这篇文章里提出的主要观点就是这篇文章标题,意译过来就是「ChatGPT 是互联网的有损压缩」。
这是一个很有意思的观点。
从这个角度想,我们居然找到了一个压缩整个互联网的方法,这在以前的完全没法想象的。我们虽然无法把互联网保存到本地,但是却可以把压缩之后的互联网,也就是 ChatGPT,给保存到本地,因为 ChatGPT 是互联网的一个高度压缩版本。这样的话,我们随时随地都可以浏览一个低配版的互联网,哪怕没有网络。
之前我也谈到过,在 OpenAI 开源 Whisper 后就有开发者基于此开发了 Whisper.cpp,用户只需要在本地运行这个单文件程序就可以完成语音转录和翻译的工作,不需要网络和第三方的参与。
离线的「语言专家」可能听起来并不是那么令人惊叹,但是这个例子印证了把 ChatGPT 放到离线设备中的可能性。
实际上,离线的复杂人工智能程序早就在我们身边了,电动车的自动驾驶系统就是一个例子。可以预计在未来很长一段时间内,会有越来越多离线的人工智能程序安装在我们的设备里,这也不断地扩展了我们人的能力。
Generative AI: The Next Consumer Platform
AIGC 是一个非常有想象空间的东西,它几乎可以融入到现有的所有领域中,包括搜索、教育、游戏、工具、内容创作、电子商务、医疗、社交等。事实上,很多领域已经开始了在用 AI 进行自我改造了,比如说最近特别火爆的 New Bing。
总体来说,这篇文章提供了一个全面的视角,探讨了 AI 技术在消费领域中的应用现状和未来趋势,同时也指出了一些可能存在的挑战和风险,推荐给各位,看看能不能启发一些创新创业的灵感。
Who Owns the Generative AI Platform?
AIGC 应用的技术栈从上到下可以分为三层:
算力层:为人工智能模型训练提供算力的基础设施供应商,包括硬件厂商和云计算平台。
模型层:开源或通过 API 开放的大规模预训练模型以及模型分享平台,包括 GPT-3、Stable Diffusion、Hugging Face。
应用层:将 AI 模型包装为一个面向消费者的应用程序。这一层的例子包括已经产生收入的 GitHub Copilot 和 Midjourney。
算力层和模型层是大公司的战场,小玩家的机会主要集中在应用层。
这篇文章中还提到了 AIGC 应用的毛利率、差异化与护城河等许多值得探讨的问题。
技术学习
Neural Networks
这是 YouTube 博主 3Blue1Brown 在 2017 年发布的「神经网络科普系列」。
最近 ChatGPT 的热议让深度学习再次成为大众瞩目的焦点,但是如果想要在这座机会之山中挖掘宝藏,必须对深度学习的底层原理稍有了解。只有了解了深度学习的原理之后,才知道它什么可为什么不可为,才能避免过分高估其能力,做到真正的「祛魅」。
在这些视频中,博主以上个世纪就在研究的手写字体识别程序作为例子,辅以生动丰富的动画,讲解了「神经网络」、「参数」、「梯度下降」、「反向传播」等概念。讲解通熟易懂,甚至被很多学校作为深度学习的入门教材了。
Illustrating Reinforcement Learning from Human Feedback (RLHF)
RLHF 是 ChatGPT 的支柱性技术之一,而这篇文章基本上是网上能找到的关于 RLHF 的最好的科普文章。
如果对 ChatGPT 的技术原理感兴趣,一定要读读这篇文章。
作者还在文末还列举了十几篇相关的文章,以供读者进一步研究,非常不错。
What Is ChatGPT Doing … and Why Does It Work?
Wolfram Alpha 的创始人 Stephen Wolfram 试图解释 ChatGPT 的工作原理。
这是一篇非常非常长的文章,文章也充分展现了 Stephen Wolfram 的高超的数学能力和学术素养。想要理解他文章里所有的内容实在是不容易,说实话,我也没有看完,好奇心比较强的读者可以去挑战一下,看看能不能读懂这篇文章。
网站/项目
Hugging Face
Hugging Face 是一个 AI 技术社区,堪称机器学习领域的 GitHub。你可以在上面找到:
预训练好的模型(Pre-trained models)
数据集(Datasets)
机器学习应用 Demo
文档、博客、课程
这上面的资源涵盖了 NLP、计算机视觉、语音、时间序列、生物学、强化学习等领域。
就在写这些字的时候,我还去上面玩了一个叫做 MarioGPT 的 Demo,它可以自动生成 Mario 关卡和解法。
GPT-3 DEMO
GPT-3 DEMO 是一个发现 GPT-3 应用的地方。
我的零碎的看法
最近我自己也在 Telegram 频道上发了一些关于 ChatGPT 的小想法:
不妨也可以看看。
最后
感谢订阅「硬核小卒 Newsletter」,欢迎分享。
2023.2.24