6. Grand Prize通关攻略
这一贴聊聊Grand Prize的两条实现路径，以及Yossef, Luke, Julian是怎么拿到大奖的。
Casey Handmer
Vesuvius Challenge开始时，所有人都采用了Brent Seales组的方法。Fragment可在红外图像中看到字母，这些就构成ground truth训练，然后用于未打开的Herculaneum scoll。这个ink detection问题也放在了Kaggle上，Youssef Nader是通过这个途径假如了比赛。但时间长了以后，参赛人员和Seales组陷入了同样的困难：用fragment训练然后作用到fragment上效果很好，但是作用到scroll上就完全无法辨认出文字。
于是有人开始直接在scoll的图像上寻找答案。突破来自于Casey Handmer。
就像这世界上好多传奇故事都离不开一个物理或者数学PhD，Vesesuis Challenage也不例外。Casey是Caltech astrophysics的phd, 这是他网站上的介绍，
Casey Handmer is the founder of Terraform Industries, a company building synthetic natural gas from sunlight and air. He has worked on optics, gravitation, magnetic machinery, astrophysics, GPS, planetary mapping, and scrolls.
他曾用机器学习观察天文数据和火星图像，在用机器学习处理图像方面有8年的实战经验。根据他的经验，往往是人眼先发现关键的pattern，然后用机器学习扩大战果
With rare exceptions, functional feature detection filters using ML are bootstrapped off human detection. There is a good reason for that – our own visual cortex is extremely adept at identifying subtle patterns and textures, especially with training, especially on X-ray data.
为此，这个企业家花了一天时间，用Mathematica的UI肉眼观察，寻找墨水的pattern
he did in a Mathematica-based viewer using a technique called persistent direct inspection, aka, looking at it a lot. (audience laughing)
Casey标出个各种特征形状，以及他的分类。
这些记录公开在他的博客文章，文章很长，可见观察pattern不是一件容易的事。
最后他找到一种他称之为cracked mud的特征，
以下是Casey提交结果中的描述
Feature: “Cracked mud” or “crackle” texture with lighter convex patches 0.1-0.5 mm in size separated by narrow, dark, high contrast channels typically at angles of 60-90 degrees from each other, and otherwise aligned at random with respect to the underlying papyrus fibers.
The cracked mud textured areas have discrete (sharp) boundaries, they do not “fade” away, but end abruptly. The textured areas form linear features that are often straight for 2-4 mm and 0.5-1 mm wide.
The cracked mud texture often appears to sit “proud” or slightly above the background papyrus, as though it is adhered to the surface.
-
这种纹理有较细的，深色高对比度的条纹，与底层莎草纤维随机对齐。
-
纹理区域具有明显的边界，它们不会“渐变消失”，而是突然消失。
-
纹理通常看起来“凸起”或略高于背景的莎草纸，就像它被粘在表面上一样。
更多crackle的例子
他认为这就是墨水的痕迹。还记得Seales组的扫描电镜结果吗？Crackle确实是墨水纹理的特点。
为了验证，他先找到了最明显的希腊字母Pi，然后在其前后辨认其他希腊字母。他认为这个crackle特征足够明显，Mathematica的经典classifer(即没有机器学习成分)即可识别。图中Mathematica给出的结果是λιοπις.
I used “Classify” function in Mathematica. Yes, I could use python (and have in the past) but life is short. The purpose of this demo is to show that a computer can see what my eyes see!
Super basic home-brew image classifier showing λιοπις.
(Mathematica语法复杂难懂，但熟手在有限时间下使用的确是杀器)
Luke Farrior
Casey的发现激励了本科生Luke Farritor。他开始以Casey识别的文字作为训练材料，让AI跳过fragment，直接从scroll的数据中学会crackle pattern。一旦辨认出一些字母，再以这些为训练材料，反复迭代。Casey认为往往要先用人眼识别出pattern。这并不是说所有的pattern肉眼都能识别出来。根据Bloogmberg的文章，只有大约1%到2%的字母包含crackle，但人眼识别能bootstrap这个过程，从而使机器在之后能够超越人类，识别出难以言说的pattern。
Most of the letters were invisible to the human eye, but 1% or 2% had the crackle. Armed with those few letters, he trained a model to recognize hidden ink, revealing a few more letters.
Luke正是这么做的。但一开始效果并不好，期间他也经历了大量试验，直到官方雇佣的segmentation效率提高以后，他终于在10月份放出了新的segement上识别出了那个"purple"。
Youssef Nader, Julian Schilliger
Youssef来自埃及，目前是柏林自由大学的机器学习PhD。
他在Kaggle上参与比赛，一直以来用Seales组的思路，但fragment训练的结果在scroll上往往不尽人意。于是Youssef开始尝试在fragment的训练中加入domain adaptation。他也是第二个解出完整单词的人，获得了second place First Letters Prize。此时community中已经确信grand prize是可以实现的，问题是需要多久的试验。
这时柏林自由大学机器人方向的博士Julian Schilliger的auto segmentation工作就重要了。Youssef，Luke和Julian组队。最终他们在比赛截止成功了，他们是唯一一组解决了grand prize问题的团队。
年轻人与学术体系
Youssef Nader的主页上有这样一句话：
I find it more fruitful to approach a problem by thinking that a solution already exists, and you only need to find it.
可见无论是科研还是商业项目，远见有多么重要。在我已经介绍的几个人中，Brent Seales，Nat Friedman以及Casey handmer最有远见，他们为整个项目“指明方向”。他们的综合能力使他们能够在任何领域做出杰出的贡献，但是由于这种能力是稀缺的资源，他们去做一些细节探索工作显然具有巨大的机会成本。与此相反，学生群体通常缺乏这种远见，但是一个有动力的学生去探索的机会成本却相对较低。他们的机会成本取决于导师指导的方向是否正确。
我并不怀疑Seales团队如果在大学里再工作几年，也能取得类似的突破，但一年之内希望渺茫。Kenturky不太可能招到能力和行动力如此强的学生。而这些学生在日常生活中可能也缺乏这种难度大、回报高、但技术路径有保障的练手问题。Vesuvius Challenge通过100万美元的奖金和Friedman的赛制设计将这两种人组合起来。
在大学里，我们经常看到的是内耗：导师的想法缺乏可行性，学生懒惰不愿尝试；或者导师有好的想法，但学生速度慢错过先机；或者学生认真考虑并试验了导师的想法，但发现其实是不切实际的。
Vesuvius Challenge这种外包式的研究，对于某些项目来说可能是一种alternative path。