059|跟清华李宁教授聊AI对绩效的影响,我记下五条学习笔记

伙伴们,快刀广播站又开始广播了。

AI学习圈的同学都知道,每周四晚,我都会邀请一位我心目中的实干家来得到直播,聊聊他在AI方面的最新实践和心得。每次一两个小时聊下来,我发现自己的收获非常大。所以未来我希望,广播站能固定下来一件事,就是之后每周四如果都直播的话,那么周六就来发我的直播学习笔记。

这周四,我邀请到的是清华大学经管学院的李宁教授,他同时也是领导力与组织管理系的系主任。李宁老师在得到上线了一门讲数字化与组织管理的前沿课程,叫《数字化方式管人》,你从课程里也能看出来,他是一位非常重视数据导向和企业实证的老师。

我为什么特别想邀请李宁老师来呢?其实是因为他在朋友圈里分享了一篇最新发表的论文,课题非常有意思,研究的是,员工跟AI的协作能力,会怎么影响他们的绩效产出。

直播结束后,我记下了下面这五条笔记,和你分享:

第一条笔记是关于这项研究到底是怎么设计实验的。

李宁老师告诉我,他把实验分成了两个阶段。第一阶段,他们会把参与者随机分成两个组,一个组是在工作中使用AI,一个组是在工作中不使用AI。在实验的第二个阶段,李宁老师额外增加了一个对照组,这个对照组的成员不但使用AI来完成工作,还接受了AI协作方面的基础培训。

实验最后,李宁老师找来六位人类专家,结合AI,来对这些参与者的工作表现进行评价,并分析了造成不同绩效产出的原因。评价完之后,专家们发现,员工用没用上AI,确实是影响工作表现的最大因素。

第二条笔记,是不同的AI模型能力有差异,这对员工的工作表现会有什么影响?

大家都知道,作为OpenAI的拳头产品,GPT4的能力是远远高于GPT3.5的。

但是,李宁老师的实验结果却发现,用GPT3.5和用GPT4,带来的绩效差异并不大。换句话说,参与者的工作表现,并不会因为使用了更高水平的AI ,就能比别人高出多少。

说实话,我一开始对这个研究结论感到非常震惊,但是仔细想过之后也就明白了,其实人和人之间的能力差别远远大于AI模型之间的能力差别。

回想我自己刚参加工作的时候,想学怎么用Photoshop,于是我花了半个月工资,买了当时最新版的软件和一堆教程书,最后做出来了一张图,图上堆满了各种手写字体,抠图的地方都是锯齿形状,而且图片背景还是花花绿绿的。

我当时让我们的设计师同事评价一下我的作品。他站在我背后,看着我的电脑屏幕,表情像便秘了一样,然后说了一句话:“这PS新版本的功能不错,但可惜了。”

所以,对于更多的应用场景,用AI就跟我们用Excel一样,非高阶选手估计连10%的功能都用不到。我们先不要纠结是不是要用最新的大模型,而是先找到好的使用场景,先用起来。在用的过程中,让自己更加了解和熟悉AI,再去寻找更厉害的工具。

第三条笔记是,现阶段AI还属于小圈子里的狂欢,丰满的未来和骨感的现实中间,还存在不小的距离。

对咱们学习圈的同学来说,你可能会有这样的经历,平时因为比较关注AI,看了一些跟AI相关的视频,短视频平台就认定我们喜欢AI,然后就开始给我们推送类似的视频。再加上大家都在AI学习圈里,每天交流的也都是和AI相关的内容,所以很容易产生一种错觉,就是AI已经无处不在,已经影响到了各行各业。但这很可能是我们的认知偏差。

写到这里的时候,我顺便问了AI一个问题:“我这种情况算是认知偏差的哪一种?”

AI回答说,我这属于两种病因相结合了,一种是“确认偏差”,一种是“可得性启发”。“确认偏差”指的是,人们倾向于寻找、解释、关注和记忆跟自己现有信念或假设一致的信息,而忽略或贬低与之不符的信息。“可得性启发”指的是,人们常常会根据信息的可获得性,也就是容易回忆起来的程度来做判断和决策。如果一个事件能够容易被想起,人们就认为这类事件发生的概率较高。

说完这些概念,AI语重心长地告诉我:“老刀,你要想成为一个优秀的产品经理,一定要突破自己的认知偏差,不要抵触创新,也不要盲目自信。”那一刻,我真的有点恍惚,干产品经理这么多年,好像从来没有一个领导这么循循善诱地教育我。

李宁老师告诉我,其实很多企业或者个人,离AI还非常非常远。他们征集到的参与实验的用户,很多人都还没把AI用起来。哪怕李宁老师他们已经替这些用户,把前期准备工具都建好了,很多用户还是没有意愿去使用AI。所以AI在各个领域的普及,还需要挺长的时间,期待能有更多案例跑出来。

第四条笔记是,对于企业来说,拥抱和使用AI的最大难点是什么?

李宁老师说,现在特别成熟的AI技术,其实跟很多企业的核心工作并不太相关。例如,文生图的技术已经很成熟了,所以广告公司、设计公司很快地拥抱了AI。

但像其他公司,那些不需要生成图片的公司,会觉得文生图技术跟自己没太大关系。例如,现在AI生成会议纪要已经很成熟了,但是大部分公司开完会,是不需要做会议纪要的。

所以企业的核心场景要普及AI,那要靠的就不是单个AI工具的普及,而是要靠企业文化的改变。例如,老板开完会,就不能微信群里问“今天开会说啥了”,而是自己要拿会议纪要看,这对企业管理者来说是个很大的挑战。

第五条笔记,如果企业会培训员工怎么用AI,那么员工绩效的提升就会非常明显。

李宁老师团队在分析实验参与者跟AI的互动数据时,发现了三种跟AI协作的类型。一种就是新手,完全不知道该怎么去跟AI互动。剩下两种,一种是话痨型,就是每次对话很短,但是会跟AI频繁沟通,另外一种是严谨型,会写很长、很规范的指令,再去跟AI互动。这两类员工的绩效表现其实都不错。

对于企业来说,其实不需要进行特别系统化的AI培训,只要让熟练使用AI的员工,在公司里分享一次、演示一次,很多新手就都能理解和跟上了。

这也是我想在AI学习圈里做很多零基础教程视频的原因,咱们的很多同学不是学不会AI,只是不知道“居然还能这么用”,但只要打通了任督二脉,就能一飞冲天了。

所以咱们学习圈的同学可以先行动起来,给自己列个小目标:圈里上线的11门教程,先挑一个学,学完上手开始用,然后找身边的五个朋友做一次小型的分享。这个过程会让你快速跟AI协作起来 ,变得更熟悉。

听完我这几条笔记,如果你也对李宁老师的研究成果感兴趣,可以点击查看直播回放。

最后,我想跟大家分享一下,在准备这次直播的过程中,我是怎么跟AI协作的。

第一,因为李宁老师的这篇论文是全英文的,我啃起来非常吃力,所以我先让Kimi Chat帮我一个部分一个部分翻译和提炼要点,最后让AI把这篇论文的十大要点整合汇总起来。

第二,为了让这次直播聊天更顺畅,我写了一段指令,让ChatGPT作为一个采访专家,来帮我生成问题大纲。

这两个指令和AI的回复我都放在文稿区了,你感兴趣的话,可以点开看一下这段指令,希望能对你有所启发。

好,今天的快刀广播站就到这里了。最后的最后,想提醒一句,由我主理的AI学习圈产品,现在有学习周活动优惠价,优惠仅剩最后3天,还没加入的同学,可以抓住这波优惠加入,咱们一起把AI用起来。

好,如果你觉得今天的内容对你有帮助,欢迎分享到朋友圈或者转发给你的朋友们。明天咱们接着聊AI。

点击查看李宁老师直播回放

以下是我写的生成采访问题的prompt指令:

##角色

1. 你是我的直播采访专家,专门为我产出采访嘉宾时的问题列表,要求问题要贴近专家身份,问题对普通人有意义,并且直白易懂;

##背景

1. 本次采访的嘉宾是清华大学经管学院李宁教授,研究兴趣主要包括组织协作、团队网路和效能、个体和团队创新机制研究、领导力、大数据在组织管理中的应用以及中国管理概念研究;

2. 他最新发表一篇论文:《When Advanced AI Isn’t Enough: Human Factors as Drivers of Success in Generative AI Human Collaborations》,论文要点列在下面;

3. 本次直播问题基于这篇论文及相关领域问题产生;

##论文要点:

1. 人类-AI协作的重要性:研究强调了在专业环境中,人类与生成性AI(如GPT-4.0)协作的重要性,特别是在提高工作绩效方面。

2. AI作为性能决定因素:研究发现,接触生成性AI显著提高了任务表现,突出了AI在工作场所作为性能决定因素的作用。

3. AI并非平等化工具:尽管AI提高了整体绩效,但它并没有压缩个体之间的性能差异,表明AI时代可能出现新的技能差异。

4. 技术进步与人类能力:研究比较了技术进步(如使用更先进的AI模型)与人类能力(如AI素养)在协作中的作用,发现人类能力在协作成功中可能更为关键。

5. AI协作培训的影响:研究揭示了AI协作培训通过改变人机互动模式显著提高了性能,强调了培训在提升协作效果中的价值。

6. 人类因素的复杂性:研究探讨了智商、教育、工作经验等人类因素在AI-人类互动过程中的作用,以及这些因素如何影响任务表现。

7. 任务结构对性能的影响:实验发现,简单的一次性人机交互与更复杂的任务结构在性能上没有显著差异,表明简单的任务结构可能同样有效。

8. AI使用频率的影响:研究发现,对AI的熟悉程度(AI使用频率)可以增强AI在任务中的效果,尤其是在独立完成任务时。

9. AI模型的替代效应:随着用户对AI的熟悉程度提高,更先进的AI模型(如ChatGPT 4.0)相对于较不先进的模型(如ChatGPT 3.5)的额外好处可能会减少。

10. 人类-AI互动的策略和模式:通过分析人机对话日志,研究识别了不同的用户类型和互动策略,揭示了人们如何适应和利用AI技术来优化专业任务的表现。

【用ChatGPT生成访谈问题大纲】

##输出要求:

1. 帮我输出一个包含10个问题的采访列表,每个问题尽量描述具体;

2. 问题角度贴近普通人的角度,语言口语化;

下面是AI给我的结果,虽然无法直接用,但是帮我开拓了很多思路:

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top