笔记

这里是我所指导的研究员使用的项目中的几个很好的启发式示例洞察数据科学。

• 代码质量评估：何时为了构建一个旨在根据代码样本预测编码员在 HackerRank（一个竞争性编码网站）上是否表现良好的模型，Daniel 首先计算左括号和右括号、方括号和大括号的数量。

  在大多数正常工作的代码中，左括号和右括号的计数是匹配的，因此这条规则被证明是一个非常强大的基线。此外，这让他有直觉，将他的建模重点放在使用抽象语法树来捕获有关代码的更多结构信息上。

• 树木计数：当试图从卫星图像中计算城市中的树木时，在查看了一些数据后，迈克首先设计了一个规则来估计树木密度，该规则基于计算给定图像中绿色像素的比例。

  事实证明，这种方法适用于分散开来的树木，但当涉及到成片的树林时就失败了。同样，这有助于定义下一个建模步骤，重点是构建可以处理密集分组树的管道。

解析和清理数据

首先，我们只需解析来自命令行的传入数据。这在 Python 中编写起来相对简单。

def parse_arguments():
    """

    :return: The text to be edited
    """
    parser = argparse.ArgumentParser(
        description="Receive text to be edited"
    )
    parser.add_argument(
        'text',
        metavar='input text',
        type=str
    )
    args = parser.parse_args()
    return args.text

每当模型根据用户输入运行时，您应该从验证和验证它开始！在我们的例子中，用户将输入数据，因此我们将确保他们的输入包含我们可以解析的字符。为了清理我们的输入，我们将删除非 ASCII 字符。这不应该过多地限制我们用户的创造力，并允许我们对文本中的内容做出合理的假设。

def clean_input(text):
    """

    :param text: User input text
    :return: Sanitized text, without non ascii characters
    """
    # To keep things simple at the start, let's only keep ASCII characters
    return str(text.encode().decode('ascii', errors='ignore'))

现在，我们需要预处理我们的输入并提供建议。为了让我们开始，我们将依靠我们在“最简单的方法：成为算法”中提到的一些关于文本分类的现有研究。这将涉及对“告诉”和“说”等单词进行计数，并计算音节、单词和句子的汇总统计数据以估计句子的复杂性。

要计算单词级别的统计信息，我们需要能够从句子中识别单词。在自然语言处理领域，这被称为标记化。

分词文本

代币化这并不简单，而且您能想到的大多数简单方法（例如根据空格或句点将我们的输入拆分为单词）在实际文本中都将失败，因为单词的分隔方式多种多样。考虑这句话，斯坦福大学的NLP 类作为示例提供，例如：

“Mr. O’Neill thinks that the boys’ stories about Chile’s capital aren’t amusing.”

由于存在具有各种含义的句点和撇号，大多数简单的方法在这句话上都会失败。我们将利用流行的开源库nltk而不是构建我们自己的分词器，它允许我们通过两个简单的步骤完成此操作，如下所示：

def preprocess_input(text):
    """

    :param text: Sanitized text
    :return: Text ready to be fed to analysis, by having sentences and
    words tokenized
    """
    sentences = nltk.sent_tokenize(text)
    tokens = [nltk.word_tokenize(sentence) for sentence in sentences]
    return tokens

一旦我们的输出经过预处理，我们就可以使用它来生成有助于判断问题质量的特征。

生成特征

这最后一步是编写一些我们可以用来向用户提供建议的规则。对于这个简单的原型，我们将从计算一些常用动词和连接词的频率开始，然后计算副词的使用情况并确定Flesch 可读性分数。然后，我们会将这些指标的报告返回给我们的用户：

def get_suggestions(sentence_list):
    """
    Returns a string containing our suggestions
    :param sentence_list: a list of sentences, each being a list of words
    :return: suggestions to improve the input
    """
    told_said_usage = sum(
        (count_word_usage(tokens, ["told", "said"]) for tokens in sentence_list)
    )
    but_and_usage = sum(
        (count_word_usage(tokens, ["but", "and"]) for tokens in sentence_list)
    )
    wh_adverbs_usage = sum(
        (
            count_word_usage(
                tokens,
                [
                    "when",
                    "where",
                    "why",
                    "whence",
                    "whereby",
                    "wherein",
                    "whereupon",
                ],
            )
            for tokens in sentence_list
        )
    )
    result_str = ""
    adverb_usage = "Adverb usage: %s told/said, %s but/and, %s wh adverbs" % (
        told_said_usage,
        but_and_usage,
        wh_adverbs_usage,
    )
    result_str += adverb_usage
    average_word_length = compute_total_average_word_length(sentence_list)
    unique_words_fraction = compute_total_unique_words_fraction(sentence_list)

    word_stats = "Average word length %.2f, fraction of unique words %.2f" % (
        average_word_length,
        unique_words_fraction,
    )
    # Using HTML break to later display on a webapp
    result_str += "<br/>"
    result_str += word_stats

    number_of_syllables = count_total_syllables(sentence_list)
    number_of_words = count_total_words(sentence_list)
    number_of_sentences = len(sentence_list)

    syllable_counts = "%d syllables, %d words, %d sentences" % (
        number_of_syllables,
        number_of_words,
        number_of_sentences,
    )
    result_str += "<br/>"
    result_str += syllable_counts

    flesch_score = compute_flesch_reading_ease(
        number_of_syllables, number_of_words, number_of_sentences
    )

    flesch = "%d syllables, %.2f flesch score: %s" % (
        number_of_syllables,
        flesch_score,
        get_reading_level_from_flesch(flesch_score),
    )

    result_str += "<br/>"
    result_str += flesch

    return result_str

瞧，我们现在可以从命令行调用我们的应用程序并实时查看其结果。它还不是很有用，但我们有一个起点可以测试和迭代，我们接下来会做。

用户体验

让我们首先检查我们的产品使用起来是否令人满意，这与我们模型的质量无关。换句话说，如果我们想象我们最终会得到一个表现足够好的模型，那么这是向我们的用户呈现结果的最有用的方式吗？

例如，如果我们要进行树木普查，我们可能希望将我们的结果作为对整个城市的长期分析的总结来呈现。我们可能希望包括报告的树木数量、每个社区的细分统计数据以及黄金标准测试集上的误差度量。

换句话说，我们希望确保我们呈现的结果是有用的（或者如果我们改进我们的模型将会有用）。当然，另一方面，我们也希望我们的模型表现良好。这是我们将评估的下一个方面。

建模结果

我们在“衡量成功”中提到了关注正确指标的价值。有早期的工作原型将使我们能够识别和迭代我们选择的指标，以确保它们代表产品成功。

例如，如果我们正在构建一个系统来帮助用户搜索附近的租车，我们可能会使用诸如贴现累积收益 (DCG)。DCG 通过在最相关的项目比其他项目更早返回时输出最高分数来衡量排名质量（有关排名指标的更多信息，请参阅关于 DCG 的维基百科文章）。在最初构建我们的工具时，我们可能假设我们希望至少有一个有用的建议出现在我们的前五个结果中。因此，我们使用 5 分的 DCG 对我们的模型进行评分。但是，当让用户试用该工具时，我们可能会注意到用户只会考虑显示的前三个结果。在那种情况下，我们应该将我们的成功指标从 DCG 的 5 更改为 3。

同时考虑用户体验和模型性能的目标是确保我们在最具影响力的方面开展工作。如果您的用户体验很差，改进您的模型也无济于事。事实上，您可能会意识到使用完全不同的模型会更好！让我们看两个例子。

模型

目前尚不清楚我们的结果是否与我们认为的高质量写作相符。令人费解的句子和整个段落的可读性得分相似。现在，我将首先承认我的文章有时难以阅读，但前面的段落比我们之前测试过的令人费解的句子更容易理解。

我们从文本中提取的属性不一定与“好文”最相关。这通常是由于没有足够清楚地定义成功：给定两个问题，我们怎么能说一个比另一个好？当我们在下一章构建数据集时，我们会更清楚地定义它。

正如预期的那样，我们有一些建模工作要做，但我们是否以有用的方式呈现结果？

用户体验

从从前面显示的结果中可以看出两个问题。我们返回的信息既压倒性又无关紧要。我们产品的目标是为我们的用户提供可操作的建议。功能和可读性分数是质量指标，但不会帮助用户决定如何改进他们的提交。我们可能希望将我们的建议归结为一个分数，以及改进它的可行建议。

例如，我们可以建议一般性的更改，例如使用更少的副词，或者通过建议单词和句子级别的更改在更精细的级别上工作。理想情况下，我们可以通过突出显示或下划线输入中需要用户注意的部分来呈现结果。我在图 3-1中添加了它的外观模型。

图 3-1。更具可操作性的写作建议

即使我们无法直接突出显示输入字符串中的建议，我们的产品也可以从提供类似于图 3-1右侧的建议中获益，这些建议比分数列表更具可操作性。