实例介绍
【实例简介】
Grok 使用的机器学习算法是 Hawkins 创造的，叫做脑皮质学习算法，或简称为 CLA。CLA 试图模仿人脑的结构，特别是负责处理高级认知功能的新皮质部分。
Numenta觀译许可 版权所有2010,2011 Numenta有限公司 本公司保留所有权利 此处的文字、算法式、样例代码、伪代码、以及其他形式的工作成果均基于 Numenta 有限公司发布的层级实时记忆(HTM)技术。 Numenta享有原始成果的版权和涉及到HTM 及此处算法的专利权。只要是用于研究的非商业的开发和使用, Numenta同意不追究关于独 立的HTM系统的使用及开发专利权。任何侵犯№ omenta专利权的有关HTM技术的商业生 产行为都需要授权。 基于上述,№ Numenta授予你非商业生产仅用于研究目的的算法及相关成果的使用许可。 本许可中的“商业生产用途”包括以发布经过训陈的商业生产用途的网络和软件为目的而进行 的网络训练,使用或允许他人使用由HTM技术得到的结果进行商业生产。任何发布、出版、 复制本成果的文档都需要包含完整的英语及目标语言的“翻译许可"。 本许可没有授予关于任何专利权的明确或暗指的许可。 Numenta对于以下得到许可的译文的质 量及准确性概不负责。 写在前头 这是本文档的一个草稿版本,你应该知道有一些东西是缺失的。 本文档包括什么 本文档详细描述了由 于2010开发的新型学习预测算法。看过本算法的介绍的程 序员如果需要能够完全理解和实现本算法。本文档将由一个介绍章节开始,如果你以前读过 的其它技术文档,你会发现介绍章节中的内容十分熟悉,但是其他的内容是新的。 本文档不包括什么 有一些涉及到实现这些新算法的话题并没有被写入到这个早期的草稿中。 虽然此算法的诸多方面已经实现成软件并经过测试,但详细的测试结果并不包括。 本文档并不包含如何将此算法应用到实际问题中的说明。缺失的说明是如何将数据从传感 器或数据库转化成适用于本算法的离散化数据结构。 你能够在线学习此算法。一些特殊案例中没有涉及的细节你需要通过在线学习来获得。 其他预计附加的内容包括有关稀疏离散表征的性能的讨论,关于应用程序和样例的介绍, 以及附加内容的相关引文。 我们之所以用这样的形式发布是因为我们认为这将使得大多数人对此算法充满兴趣。 对于积极的研究者,缺少的内容并不会对你理解和实验本算法造成阻碍。我们将定期修订 本文档以反映我们的研究进度。 目录 4 第一章 HTM概述 第二章 HTM脑皮质学习算法 第三章 空间沉积的实现和伪代码 34 第四章 时间沉积的实现和伪代码 39 附录A 生物神经元细胞与HTM细胞的对比 47 附录B 新大脑皮层的层与HTM中的层的对比 54 术语表 65 前言 有许多事情对于人类而言简单,但是计算机目前是无法做到的。诸如视觉模式识别,理 解自然语言,认知以及通过触觉操控物体和在复杂环境中行进等任务对于人类而言是简单的。 尽管进行了数十年的硏究,我们任然未能在计算机上实现和人类一样的行为能力 对人类而言,这些能力大多数都是由新大脑皮层控制执行。层级实时记忆(HTM)就 是一种模仿新大脑皮层运作的技术。HTM是构建具有接近或超越人类行为水平的智能机器 的保证。 本文栏详细描述了HTM技术。第一章是关于HIM的一个总述,概括了层级结构、稀疏 离散表征和基于时间的渐进式学习的相关重点。第二章详细描述了HTM脑皮质学习算法。第 三、四章介绍了HTM学习算法的两部分,空间数据池和时间数据池的实现伪代码。在学习了 二至四章的内容后有经验的软件工程师可以自己编写本算法的程序。我们希望读者们能走的更 远并拓展我们的成果 目标读者 本文档针对的是具有一定技术和教育基础的读者。我们不假定你具有神经科学的知识,但 我们门认为你能理解一些数学和计算机科学的概念。我们将本文档撰写成可以用作教学的课堂 读物。我们第一理想的读者是计算机科学或认知科学的学生,或者是对构建具有和人脑相同 原理的智能认知系统感兴趣的软件开发者。 没有基础的读者任然可以从本文档的某些部分受益,尤其是第-章。 软件发布 我们计划在2011年年中发布基于本文中算法的软件。 涉及的先前文档 部分HTM理论在2004出版的《人工智能的未来》一书, Numenta发布的白皮书以及 Numenta员工撰写的业内文档中均有所介绍。我们不假设你读过先前的文档,其中的大部分 已更新并包括在本文档之中。需要注意的是第二章至第四章的HTM学习算法并没有在先前 的文档中发表过。这个新的算法替代了我们原先称为zeta1的第一代算法。我们曾临时称这 个算法“固定密度的离散表征”( Fixed- density Distributed Representations)或"FDR“, 旦我们已经不再使用这个术语。我们称这一新的算法为HTM脑皮质学习算法,或者有时简 称HTM学习算法。 我们鼓励你阅读由 Numenta公司的创始人 Jeff hawkins以及 Sandra blakeslee撰写 的《人工智能的未来》一书。虽然此书中并未提到HTM这一名词,但是它用易读及非技术 性的语言描述了HTM理论及其相关的神经科学知识。在撰写《人工智能的未来》的时候我 们明白了支撑HTM的基本原则,但是我们并不知道如何将其算法化。你可以把本文档当做 《人工智能的未来》的后续。 关于 Numenta Numenta有限公司www.numenta.com)始建于2005年,致力于HTM技术的商业与科 学用途的硏究工作。为了实现这一目标,我们将探索的成果写成了丰富的文档。我们还将我们的 软件以可供他人进行科学与商业开发的形式发布。我们之所以构建这个软件是为了鼓励独立的应 用开发团体的出现。以研究为目的使用 Numenta的软件及相关知识产权是免费的。我们靠技 术支持,授予软件许可及知识产权的商业开发许可来获利。我们将一直致力于让我们及我们的 开发伙伴获得双嬴。 Numenta位于美国加利福尼亚州的红杉城,它是由私人资助的。 关于作者们 此文栏是 Numenta员工通力合作的结果。每一部分的主要作者将在修订历史记录中给出。 修订历史记录 我们只将有重大改变的版本列举出来,细微的改变将不做记录 版本日期 改变 主要作者 01Nov9,2010 1. Preface, Chapters 1, 2, 3, 4, and Jeff Hawkins, Glossary: first release Subutai ahmad Donna dubinsky 0.1.1 Nov 23, 2010 1. Chapter 1: the Regions section Hawkins was edited to clarify terminology, Dubinsky such as levelS, columns and layers 2. Appendix A: first release Hawkins 0. 2 Dec 10, 2010 1. Chapter 2: various Hawkins clarifications 2. Chapter 4: updated line Ahmad references; code changes in lines 37 and 39 3. Appendix B: first release Hawkins 第一章:HTM概述 层级实时记忆是一种以捕捉新大脑皮层的结构与算法特性为目标的机器学习技术。 新大脑皮层在哺乳动物的大脑中对于智能思维有着重要的位置。高级视觉、听觉、触觉、 运动、语言以及计划都是新大脑皮层所控制的。看到如此多的认知功能你或许认为新大脑皮层 对于每一种功能都有一种对应的神经算发。但是情况正好相反,新大脑皮层的神经回路具有高 度的统一性。生物学硏究指出,新大脑皮层用一套公用算发去实现许多不同的智能功能。 HTM为理解新大脑皮层及其机能提供了一个理论框架。目前为止我们已经实现了这个理 论框架的一小部分。随着时间的迁移,关于本理论更多的部分将被实现。我们相信我们至今已 实现了足够的新大脑皮层在商业及研究方面价值的部分内容。 使用HTM编程不同于传统的电脑编程。现今的程序员针对特定的问题编写特定的程序。 相对的,HTM通过感知数据流来训练自身。HTM的机能很大程度上是由训练它的数据所决定 的。 HTM可以被视为一个神经网络。根据定义,任何试图对新大脑皮层架构细节建模的系统 都是一个神经网络。然而,就它本身而言,“神经网络”这一术语并不十分适用因为它被用于 许多系统。个神经网络。然而,就它本身而言,“神经网络”这一术语并不十分适用因为它被 用于许多系统。HTM神经元模型(在HTM中称为细胞"ce川")是按列按层按区域排列的且有 等级划分的。这也是为什么把HTM看作一种新型神经网络。 顾名思义,HTM从根本上讲是一个基于记忆的系统。HTM网络被大量具有时间性的数据 训练而成,并依赖于储存的大量模式序列。从逻辑上讲HTM的数据存贮访问方式不同于当今 程序员使用的标准模型。传统的计算柷记忆模型是-种平面的组织结构并且没有考虑时间性。 ˆ个程序员可以实现仼意的数据组织和结构在计算杋內内存上。他们能够完全掌控数据怎样储存 以及储存到哪。相对而言HTM的记忆系统就有很多的限制了。HTM的记忆是有等级性的并且 是基于性间性的。信息总是被分散式的储存。用户可以指定HTM的等级划分以及用什么样数 据去训练,但是HTM控制数据怎样储存以及储存在哪。 尽管HTM网络从实质上讲与传统计算不同,我们仍可以用普通电脑对其进行建模只要我 们包含了层级、时间性、稀疏离散表征(稍后介绍)的关键特性。我们相信假以时日,专门用于 生成HTM网络的硬件将会诞生。 在本文中我们会经常使用一些人类视觉、触觉、听觉、语言及行为的例子来阐明HTM的 特性和规则。这些例子十分有用因为它们直观并且容易理解。但是我们需谨记HTM能做到的远 不止这些。它可以很容易的接受来自非人类感官的输入流,例如雷达和红外线,或者只是纯信 息例如金融数据、天气数据、网络信息、文本等。HTM是可以被应用到许多领域的预测机器。 HTM原理 在这部分我们会涉及到HTM的一些核心原理:为什么层级组织结构是重要的,HTM的 区域是如何构建的,为什么数据要以稀疏离散表征的形式储存,为什么基于时间的信息是 关键。 层级性一个HTM网络是由按层级排列的区域所组成的。区域是一个HTM网络的主 要记忆和预测单元,我们将会在下面的部分详细介绍。具有代表性的是每个区域代表层级中 的一个等级。层级会随着等级的上升不断聚合,下级多个子元素将被聚合到一个上级元素中 然而,由于反馈连接的存在,信息也会随着等级的下降不断分流。(层级和区域基本上是 同义词。当描述区堿内在功能的时候我们使用“区域”,档描述区域对于整个层级的影响 时我们使用“层级”一词。 【实例截图】
【核心代码】
Grok 使用的机器学习算法是 Hawkins 创造的，叫做脑皮质学习算法，或简称为 CLA。CLA 试图模仿人脑的结构，特别是负责处理高级认知功能的新皮质部分。
Numenta觀译许可 版权所有2010,2011 Numenta有限公司 本公司保留所有权利 此处的文字、算法式、样例代码、伪代码、以及其他形式的工作成果均基于 Numenta 有限公司发布的层级实时记忆(HTM)技术。 Numenta享有原始成果的版权和涉及到HTM 及此处算法的专利权。只要是用于研究的非商业的开发和使用, Numenta同意不追究关于独 立的HTM系统的使用及开发专利权。任何侵犯№ omenta专利权的有关HTM技术的商业生 产行为都需要授权。 基于上述,№ Numenta授予你非商业生产仅用于研究目的的算法及相关成果的使用许可。 本许可中的“商业生产用途”包括以发布经过训陈的商业生产用途的网络和软件为目的而进行 的网络训练,使用或允许他人使用由HTM技术得到的结果进行商业生产。任何发布、出版、 复制本成果的文档都需要包含完整的英语及目标语言的“翻译许可"。 本许可没有授予关于任何专利权的明确或暗指的许可。 Numenta对于以下得到许可的译文的质 量及准确性概不负责。 写在前头 这是本文档的一个草稿版本,你应该知道有一些东西是缺失的。 本文档包括什么 本文档详细描述了由 于2010开发的新型学习预测算法。看过本算法的介绍的程 序员如果需要能够完全理解和实现本算法。本文档将由一个介绍章节开始,如果你以前读过 的其它技术文档,你会发现介绍章节中的内容十分熟悉,但是其他的内容是新的。 本文档不包括什么 有一些涉及到实现这些新算法的话题并没有被写入到这个早期的草稿中。 虽然此算法的诸多方面已经实现成软件并经过测试,但详细的测试结果并不包括。 本文档并不包含如何将此算法应用到实际问题中的说明。缺失的说明是如何将数据从传感 器或数据库转化成适用于本算法的离散化数据结构。 你能够在线学习此算法。一些特殊案例中没有涉及的细节你需要通过在线学习来获得。 其他预计附加的内容包括有关稀疏离散表征的性能的讨论,关于应用程序和样例的介绍, 以及附加内容的相关引文。 我们之所以用这样的形式发布是因为我们认为这将使得大多数人对此算法充满兴趣。 对于积极的研究者,缺少的内容并不会对你理解和实验本算法造成阻碍。我们将定期修订 本文档以反映我们的研究进度。 目录 4 第一章 HTM概述 第二章 HTM脑皮质学习算法 第三章 空间沉积的实现和伪代码 34 第四章 时间沉积的实现和伪代码 39 附录A 生物神经元细胞与HTM细胞的对比 47 附录B 新大脑皮层的层与HTM中的层的对比 54 术语表 65 前言 有许多事情对于人类而言简单,但是计算机目前是无法做到的。诸如视觉模式识别,理 解自然语言,认知以及通过触觉操控物体和在复杂环境中行进等任务对于人类而言是简单的。 尽管进行了数十年的硏究,我们任然未能在计算机上实现和人类一样的行为能力 对人类而言,这些能力大多数都是由新大脑皮层控制执行。层级实时记忆(HTM)就 是一种模仿新大脑皮层运作的技术。HTM是构建具有接近或超越人类行为水平的智能机器 的保证。 本文栏详细描述了HTM技术。第一章是关于HIM的一个总述,概括了层级结构、稀疏 离散表征和基于时间的渐进式学习的相关重点。第二章详细描述了HTM脑皮质学习算法。第 三、四章介绍了HTM学习算法的两部分,空间数据池和时间数据池的实现伪代码。在学习了 二至四章的内容后有经验的软件工程师可以自己编写本算法的程序。我们希望读者们能走的更 远并拓展我们的成果 目标读者 本文档针对的是具有一定技术和教育基础的读者。我们不假定你具有神经科学的知识,但 我们门认为你能理解一些数学和计算机科学的概念。我们将本文档撰写成可以用作教学的课堂 读物。我们第一理想的读者是计算机科学或认知科学的学生,或者是对构建具有和人脑相同 原理的智能认知系统感兴趣的软件开发者。 没有基础的读者任然可以从本文档的某些部分受益,尤其是第-章。 软件发布 我们计划在2011年年中发布基于本文中算法的软件。 涉及的先前文档 部分HTM理论在2004出版的《人工智能的未来》一书, Numenta发布的白皮书以及 Numenta员工撰写的业内文档中均有所介绍。我们不假设你读过先前的文档,其中的大部分 已更新并包括在本文档之中。需要注意的是第二章至第四章的HTM学习算法并没有在先前 的文档中发表过。这个新的算法替代了我们原先称为zeta1的第一代算法。我们曾临时称这 个算法“固定密度的离散表征”( Fixed- density Distributed Representations)或"FDR“, 旦我们已经不再使用这个术语。我们称这一新的算法为HTM脑皮质学习算法,或者有时简 称HTM学习算法。 我们鼓励你阅读由 Numenta公司的创始人 Jeff hawkins以及 Sandra blakeslee撰写 的《人工智能的未来》一书。虽然此书中并未提到HTM这一名词,但是它用易读及非技术 性的语言描述了HTM理论及其相关的神经科学知识。在撰写《人工智能的未来》的时候我 们明白了支撑HTM的基本原则,但是我们并不知道如何将其算法化。你可以把本文档当做 《人工智能的未来》的后续。 关于 Numenta Numenta有限公司www.numenta.com)始建于2005年,致力于HTM技术的商业与科 学用途的硏究工作。为了实现这一目标,我们将探索的成果写成了丰富的文档。我们还将我们的 软件以可供他人进行科学与商业开发的形式发布。我们之所以构建这个软件是为了鼓励独立的应 用开发团体的出现。以研究为目的使用 Numenta的软件及相关知识产权是免费的。我们靠技 术支持,授予软件许可及知识产权的商业开发许可来获利。我们将一直致力于让我们及我们的 开发伙伴获得双嬴。 Numenta位于美国加利福尼亚州的红杉城,它是由私人资助的。 关于作者们 此文栏是 Numenta员工通力合作的结果。每一部分的主要作者将在修订历史记录中给出。 修订历史记录 我们只将有重大改变的版本列举出来,细微的改变将不做记录 版本日期 改变 主要作者 01Nov9,2010 1. Preface, Chapters 1, 2, 3, 4, and Jeff Hawkins, Glossary: first release Subutai ahmad Donna dubinsky 0.1.1 Nov 23, 2010 1. Chapter 1: the Regions section Hawkins was edited to clarify terminology, Dubinsky such as levelS, columns and layers 2. Appendix A: first release Hawkins 0. 2 Dec 10, 2010 1. Chapter 2: various Hawkins clarifications 2. Chapter 4: updated line Ahmad references; code changes in lines 37 and 39 3. Appendix B: first release Hawkins 第一章:HTM概述 层级实时记忆是一种以捕捉新大脑皮层的结构与算法特性为目标的机器学习技术。 新大脑皮层在哺乳动物的大脑中对于智能思维有着重要的位置。高级视觉、听觉、触觉、 运动、语言以及计划都是新大脑皮层所控制的。看到如此多的认知功能你或许认为新大脑皮层 对于每一种功能都有一种对应的神经算发。但是情况正好相反,新大脑皮层的神经回路具有高 度的统一性。生物学硏究指出,新大脑皮层用一套公用算发去实现许多不同的智能功能。 HTM为理解新大脑皮层及其机能提供了一个理论框架。目前为止我们已经实现了这个理 论框架的一小部分。随着时间的迁移,关于本理论更多的部分将被实现。我们相信我们至今已 实现了足够的新大脑皮层在商业及研究方面价值的部分内容。 使用HTM编程不同于传统的电脑编程。现今的程序员针对特定的问题编写特定的程序。 相对的,HTM通过感知数据流来训练自身。HTM的机能很大程度上是由训练它的数据所决定 的。 HTM可以被视为一个神经网络。根据定义,任何试图对新大脑皮层架构细节建模的系统 都是一个神经网络。然而,就它本身而言,“神经网络”这一术语并不十分适用因为它被用于 许多系统。个神经网络。然而,就它本身而言,“神经网络”这一术语并不十分适用因为它被 用于许多系统。HTM神经元模型(在HTM中称为细胞"ce川")是按列按层按区域排列的且有 等级划分的。这也是为什么把HTM看作一种新型神经网络。 顾名思义,HTM从根本上讲是一个基于记忆的系统。HTM网络被大量具有时间性的数据 训练而成,并依赖于储存的大量模式序列。从逻辑上讲HTM的数据存贮访问方式不同于当今 程序员使用的标准模型。传统的计算柷记忆模型是-种平面的组织结构并且没有考虑时间性。 ˆ个程序员可以实现仼意的数据组织和结构在计算杋內内存上。他们能够完全掌控数据怎样储存 以及储存到哪。相对而言HTM的记忆系统就有很多的限制了。HTM的记忆是有等级性的并且 是基于性间性的。信息总是被分散式的储存。用户可以指定HTM的等级划分以及用什么样数 据去训练,但是HTM控制数据怎样储存以及储存在哪。 尽管HTM网络从实质上讲与传统计算不同,我们仍可以用普通电脑对其进行建模只要我 们包含了层级、时间性、稀疏离散表征(稍后介绍)的关键特性。我们相信假以时日,专门用于 生成HTM网络的硬件将会诞生。 在本文中我们会经常使用一些人类视觉、触觉、听觉、语言及行为的例子来阐明HTM的 特性和规则。这些例子十分有用因为它们直观并且容易理解。但是我们需谨记HTM能做到的远 不止这些。它可以很容易的接受来自非人类感官的输入流,例如雷达和红外线,或者只是纯信 息例如金融数据、天气数据、网络信息、文本等。HTM是可以被应用到许多领域的预测机器。 HTM原理 在这部分我们会涉及到HTM的一些核心原理:为什么层级组织结构是重要的,HTM的 区域是如何构建的,为什么数据要以稀疏离散表征的形式储存,为什么基于时间的信息是 关键。 层级性一个HTM网络是由按层级排列的区域所组成的。区域是一个HTM网络的主 要记忆和预测单元,我们将会在下面的部分详细介绍。具有代表性的是每个区域代表层级中 的一个等级。层级会随着等级的上升不断聚合,下级多个子元素将被聚合到一个上级元素中 然而,由于反馈连接的存在,信息也会随着等级的下降不断分流。(层级和区域基本上是 同义词。当描述区堿内在功能的时候我们使用“区域”,档描述区域对于整个层级的影响 时我们使用“层级”一词。 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论