分类:基金随机资助策略的研究

来自Big Physics


问题背景

在基金申请书评价、科学论文稿件评价、招生评价、招工评价等问题中，对于比较随大流的申请书、论文、学生和员工，一般来说，评价者给出的评价会相对来说比较准确（可以通过现有数据验证一下，看看方差之类的。或者把已经得到或者没有得到的项目，送出去再一次评审一下，看看稳定性）。但是，对于比较有个性（创新性比较高、和很多其他个体不太一样）的个体，评价者给出的评价往往会不太准确。这个不太准确可能表现为各个评价者给出的评分相差比较大（方差大），可能表现为有个性的个体的评价均值偏低（例如，论文挑战了比较有共性的认知）。可是，科学的进步往往很需要这些非同寻常的个体的贡献，不管是创新性高的研究项目、论文，还是特立独行的学生和员工。一个真正具有非凡创造性的个体发挥的作用远远大于一大群随大流的个体。

那么，有没有办法设计一个评审机制或者说资助策略能够把这样的个体更多地保留下来？

前期研究已经发现（参考文献待补充），在论文评审上，中间档次的论文得分的方差最大，高水平论文得分方差略小，低水平论文得分方差最小。这是启发我们进一步研究底线评审的重要因素。如果还能够做一个个体获得项目数量、个体发表论文数量的分布函数，就更好了。

其他相关研究

其他研究者也已经注意到这个问题，甚至建议采用随机资助[1] [2] [3] 。在新西兰[4] [5] 以及德国的科研基金[6] 中，甚至做了实现（是否能够找到关于这个实验的数据，尤其是德国的数据？德国项目同时做了普通评审和底线评审）。[7]详细介绍了新西兰Explorer计划的情况。

[8] 以实际被立项的项目的各位评审人的评分为基础，对每一个项目做了Bootstrap抽样计算这个个项目的平均分的样本（Bootstrap的每一次抽样都会得到一个平均分），按照这个平均分再来看是否会得到支持。发现很大比例的项目处于“有的时候得到支持有的时候不会得到支持”的状态。[9] 用了两个基金机构的同一个项目的评审分数的比较，计算了Cohen's Kappa发现，其相互一致的情况和完全随机匹配的一致性相比高不了太多。[10]　从科技哲学的角度，提出来同行评议中低估高创新性研究的根源是“研究者自恋（researcher narcissism）”——不断地加强对自己或者他人已经选择的道路的信仰而忽略其他可能。 [11] 发现受支持项目的论文的各种表现指标和项目批准时候的评审分数基本没关系。如果加上没有被支持的项目的论文，以及其他的指标，例如创新性，就会更有意思了。

研究方法和内容

在这里，我们提出来一个可能的资助策略：直接资助非常少量的最优秀项目（记为Top[math]\displaystyle{ T\% }[/math]，或者说集合[math]\displaystyle{ T }[/math]）、直接剔除一定数量的最差项目（记为Down[math]\displaystyle{ D\% }[/math]，或者说集合[math]\displaystyle{ D }[/math]），对剩下的项目实行随机分配（记为Random[math]\displaystyle{ R\% }[/math]，或者说集合[math]\displaystyle{ R }[/math]）。

我们想看看是否能够做一些研究来在做试验检验之前，从理论上检验一下这个资助策略。

除了不同策略的实验研究（虚拟再次评审）、已经尝试的不同资助策略的实证数据分析（统计方差、新西兰等的实证分析），我们还可以做建模分析。（在这里补充调研，例如静态分配模型[12][13]，动力学——分配以后的成长模型[14]）

模型设计

模型主体：

  1. 研究者群体[math]\displaystyle{ i=1,2,3,\cdots, N }[/math]。
    1. 每一个研究者有两个内秉质量指标：Talent程度（才华、努力）[math]\displaystyle{ T }[/math]、特异性（离经叛道程度）[math]\displaystyle{ M }[/math]。可以取[math]\displaystyle{ T,M\in\left[0,1\right] }[/math]，群体符合正态分布或者某个分布函数。注意，这个分布函数的假设可能会影响结论。
    2. 在[math]\displaystyle{ t }[/math]时刻一个内秉指标为[math]\displaystyle{ \left(T_{i},M_{i}\right) }[/math]的研究者以一定的概率[math]\displaystyle{ p\left(T_{i},M_{i}\right) }[/math]（例如，[math]\displaystyle{ p\left(T_{i},M_{i}\right)=T_{i}\left(1-M_{i}\right) }[/math]或者[math]\displaystyle{ p\left(T_{i},M_{i}\right)=T_{i} }[/math]）产生一个研究项目申请书[math]\displaystyle{ P\left(T_{i},M_{i},t\right) }[/math]。
    3. 如果项目获得支持，则当期得到一个科学价值为[math]\displaystyle{ \Delta S_{i}(t)=T_{i}M_{i} }[/math]的研究成果，当期产出论文数量为[math]\displaystyle{ \Delta Q_{i}\left(t\right)=2\Delta Q_{i}\left(t-1\right) }[/math]；如果项目没有获得支持，则得到一个科学价值为[math]\displaystyle{ \Delta S_{i}(t)=\lambda(=0.5) T_{i}M_{i} }[/math]的研究成果，当期产出论文数量为[math]\displaystyle{ \Delta Q_{i}\left(t\right)=0.5\Delta Q_{i}\left(t-1\right) }[/math]。
  2. 评审人虚拟群体——抽象为一个对每个项目申请书给出一个分数的评审人。多个评审人各自评审再综合的设置暂时不进入本模型。
    1. 对于项目申请书[math]\displaystyle{ P\left(T_{i},M_{i},t\right) }[/math]按照以下得分生成程序生成一个得分[math]\displaystyle{ V_{1}\left(P\left(T_{i},M_{i},t\right)\right) }[/math]，满足分布函数[math]\displaystyle{ \rho\left(V_{1}\right)=\frac{1}{Z}e^{-\frac{\left(V_{1}-T+M\right)^{2}}{2\sigma^{2}\left(T,M\right)}} }[/math]，其中[math]\displaystyle{ \sigma^{2}\left(T,M\right)=\left(\frac{1}{T-M-\left\langle T-M\right\rangle+\epsilon}\right)^{2}+\left(T-M\right)^{2} }[/math]（或者[math]\displaystyle{ \rho\left(V_{1}\right)=\frac{1}{Z}e^{-\frac{\left(V_{1}-TM\right)^{2}}{2\sigma^{2}\left(T,M\right)}} }[/math]，其中[math]\displaystyle{ \sigma^{2}\left(T,M\right)=\left(\frac{1}{TM-\left\langle TM\right\rangle+\epsilon}\right)^{2}+T^{2}M^{2} }[/math]）。这样中等质量论文的评分的方差最大，高质量论文次之，低质量论文方差最小。
    2. 对于项目申请人[math]\displaystyle{ i }[/math]按照以下方式生成一个得分[math]\displaystyle{ V_{2}\left(Q_{i}(t)\right) }[/math]：[math]\displaystyle{ V_{2}\left(Q_{i}\right)=\frac{Q_{i}}{\sum_{j=1}^{N}Q_{j}} }[/math]或者[math]\displaystyle{ V_{2}\left(Q_{i}\right)=\frac{e^{\beta Q_{i}}}{\sum_{j=1}^{N}e^{\beta Q_{j}}} }[/math]。其含义是论文数量越多则评审分数越高。
  3. 基金支持机制，分为没有基金支持，以随机方式、择优方式、底线评审方式分配固定比例的基金支持
    1. 没有基金支持
    2. 随机选择比例为[math]\displaystyle{ r }[/math]的项目来支持
    3. 择优评审：选择分数[math]\displaystyle{ V_{1}+V_{2} }[/math]最高的[math]\displaystyle{ rN }[/math]各项目来支持
    4. 底线评审1：去掉评分[math]\displaystyle{ V_{1} \lt V_{L} }[/math]，剩下的选择凑齐整体比例为[math]\displaystyle{ r }[/math]的项目来支持
    5. 底线评审2：去掉评分[math]\displaystyle{ V_{1} \lt V_{L} }[/math]，直接支持评分[math]\displaystyle{ V_{1}\geq V_{U} }[/math]，剩下的选择凑齐整体比例为[math]\displaystyle{ r }[/math]的项目来支持
    6. 底线评审3：去掉评分[math]\displaystyle{ V_{1}+V_{2} \lt \bar{V}_{L} }[/math]，剩下的选择凑齐整体比例为[math]\displaystyle{ r }[/math]的项目来支持
    7. 底线评审4：去掉评分[math]\displaystyle{ V_{1}+V_{2} \lt \bar{V}_{L} }[/math]，直接支持评分[math]\displaystyle{ V_{1}+V_{2}\geq \bar{V}_{U} }[/math]，剩下的选择凑齐整体比例为[math]\displaystyle{ r }[/math]的项目来支持

基本假设：

  1. 评价者对创新性比较高的被评价对象的评分偏低（均值小）。
  2. 评价者对创新性比较高的被评价对象的准确率偏低（方差大）。
  3. 不考虑创新性的条件下，评价者对最差的被评价对象的识别准确率比较高（方差小），最优秀的次之（方差稍微大一点），中间层次的准确率比较低（方差最大）。
  4. 忽略每个项目的预算差别，项目受资助的比例[math]\displaystyle{ r }[/math]是一个确定值。
  5. 每一个评价者对一个特定项目做出来的评价分数是一个高斯分布（或者其他特定的分布函数）。

效率指标：

  1. 总产出：对比不同基金支持策略下的[math]\displaystyle{ S=\sum_{t,i}\Delta S_{i}\left(t\right) }[/math]，[math]\displaystyle{ Q=\sum_{t,i}\Delta Q_{i}\left(t\right) }[/math]
  2. 产出-研究者内秉特征联合水平分布函数[math]\displaystyle{ \rho\left(S,Q,T,M\right) }[/math]，或者说产出-研究者内秉特征关联性[math]\displaystyle{ S\left(T,M\right), Q\left(T,M\right), S\left(Q\right) }[/math]。

以上各种函数形式都可以改，只要保持增减的趋势不变。不过，具体函数的形式，而不仅仅是增减性，可能都会影响最终的定性结论。因此，结论的鲁棒性是一个要研究的很大的问题。

参考文献

  1. ↑ Shahar Avin, Policy Considerations for Random Allocation of Research Funds, DOI: https://doi.org/10.13130/2282-5398/8626.
  2. ↑ Shahar Avin,(2019). Mavericks and lotteries, Studies in History and Philosophy of Science Part A, 76,13-23.
  3. ↑ Dorothy Bishop, Luck of the draw, https://www.natureindex.com/news-blog/luck-of-the-draw .
  4. ↑ New Zealand Health Research Council – Explorer Grants　https://gateway.hrc.govt.nz/funding/researcher-initiated-proposals/2021-explorer-grants
  5. ↑ The Science for Technological Innovation National Science Challenge (SfTI) of New Zeeland, "Seed project fund" https://www.sftichallenge.govt.nz/for-researchers/funding-and-get-involved/seed-project-development-process/
  6. ↑ VolkswagenStiftung "Experiment! – In search of bold research ideas", https://www.volkswagenstiftung.de/en/funding/our-funding-portfolio-at-a-glance/experiment
  7. ↑ Liu, M., Choy, V., Clarke, P., Barnett, A., Blakely, T., & Pomeroy, L. (2020). The acceptability of using a lottery to allocate research funding: a survey of applicants. Research Integrity and Peer Review, 5(1), 3.
  8. ↑ Graves Nicholas, Barnett Adrian G, Clarke Philip. Funding grant proposals for scientific research: retrospective analysis of scores by members of grant review panel BMJ 2011; 343 :d4797
  9. ↑ Corinne Hodgson, (1997). How reliable is peer review? An examination of operating grant proposals simultaneously submitted to two similar peer review systems, Journal of Clinical Epidemiology, 50, Issue 11, 1189-1195.
  10. ↑ D. Gillies, (2014). Selecting applications for funding: why random choice is better than peer review, RT. A Journal on research policy and evaluation, 2(1).
  11. ↑ F.C. Fang, A. Bowen, A. Casadevall, (2016). Research: NIH peer review percentile scores are poorly predictive of grant productivity, eLife, 5, e13323.
  12. ↑ Shahar Avin, Centralized Funding and Epistemic Exploration, The British Journal for the Philosophy of Science, Volume 70, Issue 3, September 2019, Pages 629-656, https://doi.org/10.1093/bjps/axx059 .
  13. ↑ Elise S Brezis, Focal randomisation: An optimal mechanism for the evaluation of R&D projects, Science and Public Policy, Volume 34, Issue 10, December 2007, Pages 691–698, https://doi.org/10.3152/030234207X265394 .
  14. ↑ ALESSANDRO PLUCHINO, ALESSIO EMANUELE BIONDO and ANDREA RAPISARDA，TALENT VERSUS LUCK: THE ROLE OF RANDOMNESS IN SUCCESS AND FAILURE, Advances in Complex Systems Vol. 21, No. 03n04, 1850014 (2018), https://doi.org/10.1142/S0219525918500145

子分类

本分类只有以下子分类。

A

取自“https://www.bigphysics.org/index.php?title=分类:基金随机资助策略的研究&oldid=6752”