编辑:小舟、陈萍
参与 Llama 研究的 14 位作者,多位已经离开了。
今年 2 月,Meta「开源」了一个新的大模型系列 —— Llama(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。几个月后,Llama 2 的发布更是开启了大模型的可商用化先河,很多人将 Llama 2 的开源形容为大模型的「安卓时刻」。
由于 Llama 和 Llama 2 系列模型出色的性能,很多人将其视为 ChatGPT 等大模型的免费开源替代品。人人都在夸赞 Meta 为开源社区带来的贡献,但对于参与 Llama 项目的一些科学家和工程师来说,这种赞扬太少,也太迟了。
据 TheInformation 报道,了解内部情况的人员表示,参与 Llama 项目的很多人都辞职了,原因是 Meta 的另外一个研究团队与 Llama 团队就计算资源展开了一场内部斗争,而爆料中所指的另一个团队正在研究竞品模型,但不知什么原因最终放弃了这个模型。
虽然这只是内部人员的爆料,但他们的离开提醒人们,大大小小的科技公司在开发生成式人工智能模型时,都在努力解决计算资源短缺带来的紧张氛围,而生成式人工智能需要专用芯片,而这些芯片并不是免费提供的。大型科技公司比大多数公司拥有更多的计算资源,Meta 等一些公司在招聘 AI 研究员时也强调了这一事实。
我们看到即使是大公司,他们能提供的资源也是有限的。随着 AI 人才需求的激增,人员外流也凸显了大型科技公司在留住 AI 人才方面面临的挑战。
Llama 这篇论文《 LLaMA: Open and Efficient Foundation Language Models 》发表在今年 2 月,作者共有 14 位,现在已经有几位离职了,他们有的去了新的初创公司,有的开始创业。
论文地址:https://arxiv.org/pdf/2302.13971.pdf
下面我们看看离职的都有哪些。
Gautier Izacard?
Gautier Izacard 2020 年开始在 Meta 工作,2023 年 4 月离开 Meta,加入 2022 年成立的初创公司 Inflection AI。
Inflection AI 来头不小,它的三位联合创始人分别是原 DeepMind 联合创始人 Mustafa Suleyman、Linkedln 联合创始人 Reid Hoffman,还有前 DeepMind 首席科学家 Karen Simonyan。今年 6 月,Inflection AI 还宣布该公司在新一轮融资中筹集 13 亿美元,由微软、英伟达以及 Reid Hoffman、比尔?盖茨、谷歌前 CEO 埃里克?施密特领投。
Inflection AI 的三位联合创始人。
Timothee Lacroix?
Timothee Lacroix2015 年加入 Facebook AI Research Lab,任研究工程师。2023 年 6 月离开 Meta(Facebook),加入法国初创公司 Mistral AI,任首席技术官(CTO)。
Armand Joulin
Armand Joulin 2012 年从 INRIA 和巴黎高等师范学院(ENS)获得博士学位。2014 年,Armand Joulin 加入 Meta,先后任研究科学家、高级研究经理、研究总监。在加入 Meta 之前,Armand 是斯坦福大学的博士后研究员,与 Daphne Koller 和李飞飞一起工作。2023 年 5 月 Armand Joulin 从 Meta 离职。
Guillaume Lample
Guillaume Lample 现在是 Mistral AI 的联合创始人兼首席科学家。他于今年 3 月离开 Meta,在这里工作了 6 年多,此前在 Meta 的职位是研究科学家。
Guillaume Lample 硕士毕业于卡内基梅隆大学、博士毕业于巴黎第六大学。
最后我们在介绍一下初创公司 Mistral AI,于今年 5 月成立。该机构主要专注于生成式 AI 模型的研发,与 OpenAI 展开竞争。联合创始人包括 Arthur MENSCH(兼 CEO)、Guillaume Lample(兼首席科学家),Timothee Lacroix 为首席技术官。
据 Techcrunch 报道,他们计划于 2024 年发布第一个基于文本的生成式人工智能模型。今年 6 月,成立仅 4 周的 Mistral AI 已获得 1.13 亿美元的种子轮融资。
Guillaume Lample 和 Timothee Lacroix 前面我们已经介绍了。作为 CEO 的 Arthur MENSCH,此前在 DeepMind(现在合并为 Google DeepMind)工作了 2 年多,参与过视觉语言模型 Flamingo 的研究。
参考文献:
https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=bw8enl
France’s Mistral AI blows in with a $113M seed round at a $260M valuation to take on OpenAI