微软研究院：Dryad与DryadLINQ数据并行处理框架在Hadoop YARN上的研究原型

【实例简介】
Dryad是一个研究原型，它与DryadLINQ数据并行处理框架一起，在Hadoop YARN上运行。Dryad利用作为Hadoop YARN一部分提供的集群服务，可靠地在计算机集群上执行分布式计算。DryadLINQ为分布式数据处理提供了LINQ编程模型，并利用Dryad进行可靠执行。
如果您只是想运行一个示例DryadLINQ程序，最简单的开始方式是遵循指南，但请注意我们不提供具体链接。
系统要求：
- Visual Studio 2013
- 一个Azure HDInsight 3.1集群或由x64机器组成的Windows YARN集群
构建Dryad：
1) 克隆Dryad git仓库。
2) 使用Visual Studio打开位于仓库根目录的Dryad解决方案文件(Dryad.sln)并构建解决方案。依赖项将从NuGet获取。
此说明为开发者提供了在Hadoop YARN上使用Dryad及DryadLINQ进行数据并行处理的方法和步骤，帮助开发者更好地理解和应用这些先进的数据处理框架。
【实例截图】
【核心代码】
文件清单
└── Dryad-ad28579dd8303925befc6502633949850b7ca550
    ├── ClusterInterface
    │   ├── app.config
    │   ├── ClusterInterface.csproj
    │   ├── HttpScheduler.cs
    │   ├── Interfaces.cs
    │   ├── packages.config
    │   ├── Process.cs
    │   └── Properties
    │       └── AssemblyInfo.cs
    ├── DryadLinqGraphManager
    │   ├── app.config
    │   ├── DryadLinqApplication.cs
    │   ├── DryadLinqGraphManager.csproj
    │   ├── GraphBuilder.cs
    │   ├── LinqToDryadException.cs
    │   ├── LinqToDryadJM.cs
    │   ├── packages.config
    │   ├── Program.cs
    │   ├── Properties
    │   │   └── AssemblyInfo.cs
    │   ├── Query.cs
    │   └── QueryParser.cs
    ├── DryadLinqTests
    │   ├── App.config
    │   ├── ApplyAndForkTests.cs
    │   ├── BasicAPITests.cs
    │   ├── DryadLinqFSharpTests
    │   │   ├── App.config
    │   │   ├── DryadLinqFSharpTests.fsproj
    │   │   ├── packages.config
    │   │   └── Program.fs
    │   ├── DryadLinqTests.csproj
    │   ├── DryadLinqTests.sln
    │   ├── GroupByReduceTests.cs
    │   ├── MiscBugFixTests.cs
    │   ├── packages.config
    │   ├── Program.cs
    │   ├── Properties
    │   │   └── AssemblyInfo.cs
    │   ├── RangePartitionAPICoverageTests.cs
    │   ├── SerializationTests.cs
    │   ├── SerializationTestTypes.cs
    │   ├── SimpleTests.cs
    │   ├── TestLog.cs
    │   ├── TypesInQueryTests.cs
    │   ├── Utils.cs
    │   └── WordCount.cs
    ├── Dryad.sln
    ├── DryadVertex
    │   └── VertexHost
    │       ├── system
    │       │   ├── channel
    │       │   │   ├── channel.vcxproj
    │       │   │   ├── include
    │       │   │   │   ├── channelbuffer.h
    │       │   │   │   ├── channelinterface.h
    │       │   │   │   ├── channelitem.h
    │       │   │   │   ├── channelmarshaler.h
    │       │   │   │   ├── channelmemorybuffers.h
    │       │   │   │   ├── channelparser.h
    │       │   │   │   ├── concreterchannel.h
    │       │   │   │   ├── recordarray.h
    │       │   │   │   ├── recorditem.h
    │       │   │   │   └── recordparser.h
    │       │   │   ├── packages.config
    │       │   │   └── src
    │       │   │       ├── channelbuffer.cpp
    │       │   │       ├── channelbufferhdfs.cpp
    │       │   │       ├── channelbufferhdfs.h
    │       │   │       ├── channelbuffernativereader.cpp
    │       │   │       ├── channelbuffernativereader.h
    │       │   │       ├── channelbuffernativewriter.cpp
    │       │   │       ├── channelbuffernativewriter.h
    │       │   │       ├── channelbufferqueue.cpp
    │       │   │       ├── channelbufferqueue.h
    │       │   │       ├── channelfifo.cpp
    │       │   │       ├── channelfifo.h
    │       │   │       ├── channelhelpers.cpp
    │       │   │       ├── channelhelpers.h
    │       │   │       ├── channelitem.cpp
    │       │   │       ├── channelmarshaler.cpp
    │       │   │       ├── channelparser.cpp
    │       │   │       ├── channelreader.cpp
    │       │   │       ├── channelreader.h
    │       │   │       ├── channelwriter.cpp
    │       │   │       ├── channelwriter.h
    │       │   │       ├── concreterchannel.cpp
    │       │   │       ├── concreterchannelhelpers.h
    │       │   │       ├── managedchannel.h
    │       │   │       ├── managedchannelhelpers.cpp
    │       │   │       ├── managedchannelhelpers.h
    │       │   │       ├── managedchannelreader.cpp
    │       │   │       ├── managedchannelwriter.cpp
    │       │   │       ├── memorybuffers.cpp
    │       │   │       └── recorditem.cpp
    │       │   ├── classlib
    │       │   │   ├── classlib.vcxproj
    │       │   │   ├── include
    │       │   │   │   ├── basic_types.h
    │       │   │   │   ├── DrBList.h
    │       │   │   │   ├── DrCommon.h
    │       │   │   │   ├── DrCriticalSection.h
    │       │   │   │   ├── DrErrorDef.h
    │       │   │   │   ├── DrError.h
    │       │   │   │   ├── DrExecution.h
    │       │   │   │   ├── DrExitCodesDef.h
    │       │   │   │   ├── DrExitCodes.h
    │       │   │   │   ├── DrFPrint.h
    │       │   │   │   ├── DrFPrint_polynomials.h
    │       │   │   │   ├── DrFunctions.h
    │       │   │   │   ├── DrGuid.h
    │       │   │   │   ├── DrHash.h
    │       │   │   │   ├── DrHeap.h
    │       │   │   │   ├── DrList.h
    │       │   │   │   ├── DrLogging.h
    │       │   │   │   ├── DrMemory.h
    │       │   │   │   ├── DrMemoryStream.h
    │       │   │   │   ├── DrNodeAddress.h
    │       │   │   │   ├── DrPropertiesDef.h
    │       │   │   │   ├── DrProperties.h
    │       │   │   │   ├── DrPropertyDumper.h
    │       │   │   │   ├── DrPropertyType.h
    │       │   │   │   ├── DrRefCounter.h
    │       │   │   │   ├── DrStringUtil.h
    │       │   │   │   ├── DrTagsDef.h
    │       │   │   │   ├── DrTags.h
    │       │   │   │   ├── DrThread.h
    │       │   │   │   ├── DrTypes.h
    │       │   │   │   ├── Dryad.h
    │       │   │   │   ├── DryadTagsDef.h
    │       │   │   │   ├── DryadTags.h
    │       │   │   │   ├── fingerprint.h
    │       │   │   │   ├── Interlocked.h
    │       │   │   │   ├── LogIdsCustomized.h
    │       │   │   │   ├── LogIds.h
    │       │   │   │   ├── LogTagIds.h
    │       │   │   │   ├── ms_fprint.h
    │       │   │   │   ├── MSMutex.h
    │       │   │   │   ├── PropertyIds.h
    │       │   │   │   └── RefCount.h
    │       │   │   └── src
    │       │   │       ├── DrCriticalSection.cpp
    │       │   │       ├── DrError.cpp
    │       │   │       ├── DrExecution.cpp
    │       │   │       ├── DrExitCodes.cpp
    │       │   │       ├── DrFPrint.cpp
    │       │   │       ├── DrFunctions.cpp
    │       │   │       ├── DrGuid.cpp
    │       │   │       ├── DrHash.cpp
    │       │   │       ├── DrHeap.cpp
    │       │   │       ├── DrLogging.cpp
    │       │   │       ├── DrMemory.cpp
    │       │   │       ├── DrMemoryStream.cpp
    │       │   │       ├── DrNodeAddress.cpp
    │       │   │       ├── DrRefCounter.cpp
    │       │   │       ├── DrStringUtil.cpp
    │       │   │       ├── DrThread.cpp
    │       │   │       ├── fingerprint.cpp
    │       │   │       └── ms_fprint.cpp
    │       │   ├── common
    │       │   │   ├── common.vcxproj
    │       │   │   ├── include
    │       │   │   │   ├── cosmospropertyblock.h
    │       │   │   │   ├── cosmosstreampropertyupdater.h
    │       │   │   │   ├── CsEnhancedTimer.h
    │       │   │   │   ├── DObjPool.h
    │       │   │   │   ├── DrString.h
    │       │   │   │   ├── dryadcosmosresources.h
    │       │   │   │   ├── dryaderrordef.h
    │       │   │   │   ├── dryaderror.h
    │       │   │   │   ├── dryadeventcache.h
    │       │   │   │   ├── dryadlisthelper.h
    │       │   │   │   ├── dryadmetadata.h
    │       │   │   │   ├── dryadmetadatatag.h
    │       │   │   │   ├── dryadmetadatatagtypes.h
    │       │   │   │   ├── dryadnativeport.h
    │       │   │   │   ├── dryadopaqueresources.h
    │       │   │   │   ├── dryadpropertiesdef.h
    │       │   │   │   ├── dryadproperties.h
    │       │   │   │   ├── dryadpropertydumper.h
    │       │   │   │   ├── dryadpropertytype.h
    │       │   │   │   ├── dryadstandaloneini.h
    │       │   │   │   ├── dryadtagsdef.h
    │       │   │   │   ├── dryadtags.h
    │       │   │   │   ├── dvertexcommand.h
    │       │   │   │   ├── errorreporter.h
    │       │   │   │   ├── httppropertyblock.h
    │       │   │   │   ├── orderedsendlatch.h
    │       │   │   │   ├── portmemorybuffers.h
    │       │   │   │   └── workqueue.h
    │       │   │   └── src
    │       │   │       ├── DObjPool.cpp
    │       │   │       ├── dryadeventcache.cpp
    │       │   │       ├── dryadmetadata.cpp
    │       │   │       ├── dryadmetadatatag.cpp
    │       │   │       ├── dryadmetadatatagtypes.cpp
    │       │   │       ├── dryadnativeport.cpp
    │       │   │       ├── dryadopaqueresources.cpp
    │       │   │       ├── dryadpropertydumper.cpp
    │       │   │       ├── dryadstandaloneini.cpp
    │       │   │       ├── dvertexcommand.cpp
    │       │   │       ├── errorreporter.cpp
    │       │   │       ├── httppropertyblock.cpp
    │       │   │       ├── portmemorybuffers.cpp
    │       │   │       └── workqueue.cpp
    │       │   ├── dprocess
    │       │   │   ├── dprocess.vcxproj
    │       │   │   ├── include
    │       │   │   │   ├── dryadvertex.h
    │       │   │   │   ├── dvertexmain.h
    │       │   │   │   └── vertexfactory.h
    │       │   │   ├── packages.config
    │       │   │   └── src
    │       │   │       ├── dryadvertex.cpp
    │       │   │       ├── dvertexcmdlinecontrol.cpp
    │       │   │       ├── dvertexcmdlinecontrol.h
    │       │   │       ├── dvertexhttppncontrol.cpp
    │       │   │       ├── dvertexhttppncontrol.h
    │       │   │       ├── dvertexmain.cpp
    │       │   │       ├── dvertexpncontrol.cpp
    │       │   │       ├── dvertexpncontrol.h
    │       │   │       ├── dvertexxcomputepncontrol.cpp
    │       │   │       ├── dvertexxcomputepncontrol.h
    │       │   │       ├── subgraphvertex.cpp
    │       │   │       ├── subgraphvertex.h
    │       │   │       └── vertexfactory.cpp
    │       │   └── managedchannel
    │       │       ├── app.config
    │       │       ├── AzureReader.cs
    │       │       ├── AzureWriter.cs
    │       │       ├── FileWriter.cs
    │       │       ├── HttpReader.cs
    │       │       ├── Interfaces.cs
    │       │       ├── managedchannel.csproj
    │       │       ├── packages.config
    │       │       ├── Properties
    │       │       │   └── AssemblyInfo.cs
    │       │       ├── Queue.cs
    │       │       ├── StreamReader.cs
    │       │       └── StreamWriter.cs
    │       └── vertex
    │           ├── include
    │           │   ├── ChannelTransform.h
    │           │   ├── CompressionVertex.h
    │           │   ├── DataBlockItem.h
    │           │   ├── FifoChannel.h
    │           │   ├── FifoInputChannel.h
    │           │   ├── FifoOutputChannel.h
    │           │   ├── GzipCompressionChannelTransform.h
    │           │   ├── GzipDecompressionChannelTransform.h
    │           │   ├── InputChannel.h
    │           │   ├── ManagedWrapper.h
    │           │   ├── NullChannelTransform.h
    │           │   ├── OutputChannel.h
    │           │   └── wrappernativeinfo.h
    │           ├── managedwrappervertex
    │           │   ├── DataBlockItem.cpp
    │           │   ├── ManagedWrapperVertex.cpp
    │           │   ├── ManagedWrapperVertex.vcxproj
    │           │   ├── ManagedWrapperVertex.vcxproj.filters
    │           │   └── stdafx.h
    │           ├── vertexHost
    │           │   ├── app.config
    │           │   ├── packages.config
    │           │   ├── version.cpp
    │           │   ├── vertexHost.cpp
    │           │   ├── VertexHost.vcxproj
    │           │   └── VertexHost.vcxproj.filters
    │           ├── VertexHostMain
    │           │   ├── app.config
    │           │   ├── packages.config
    │           │   ├── Program.cs
    │           │   ├── Properties
    │           │   │   └── AssemblyInfo.cs
    │           │   └── VertexHostMain.csproj
    │           ├── WrapperNativeInfo
    │           │   ├── FifoChannel.cpp
    │           │   ├── FifoInputChannel.cpp
    │           │   ├── FifoOutputChannel.cpp
    │           │   ├── GzipCompressionChannelTransform.cpp
    │           │   ├── GzipDecompressionChannelTransform.cpp
    │           │   ├── InputChannel.cpp
    │           │   ├── NullChannelTransform.cpp
    │           │   ├── OutputChannel.cpp
    │           │   ├── stdafx.h
    │           │   ├── WrapperNativeInfo.cpp
    │           │   ├── WrapperNativeInfo.vcxproj
    │           │   └── WrapperNativeInfo.vcxproj.filters
    │           └── WrapperNativeInfoDll
    │               ├── DryadLINQNativeChannels.def
    │               ├── stdafx.h
    │               ├── version.cpp
    │               ├── WrapperNativeInfoDll.vcxproj
    │               ├── WrapperNativeInfoDll.vcxproj.filters
    │               └── wrappernativeinfostubs.cpp
    ├── GraphManager
    │   ├── filesystem
    │   │   ├── DrAzureBlobClient.cpp
    │   │   ├── DrAzureBlobClient.h
    │   │   ├── DrFileSystems.h
    │   │   ├── DrHdfsClient.cpp
    │   │   ├── DrHdfsClient.h
    │   │   ├── DrPartitionFile.cpp
    │   │   └── DrPartitionFile.h
    │   ├── gang
    │   │   ├── DrGangHeaders.h
    │   │   ├── DrMetaData.cpp
    │   │   ├── DrMetaData.h
    │   │   ├── DrMetaDataTag.cpp
    │   │   ├── DrMetaDataTag.h
    │   │   ├── DrProperties.h
    │   │   ├── DrProperty.cpp
    │   │   └── DrProperty.h
    │   ├── graph
    │   │   ├── DrDefaultParameters.h
    │   │   ├── DrFileSystem.cpp
    │   │   ├── DrFileSystem.h
    │   │   ├── DrGraphExecutor.cpp
    │   │   ├── DrGraphExecutor.h
    │   │   ├── DrGraphHeaders.h
    │   │   └── DrGraphParameters.cpp
    │   ├── GraphManager.vcxproj
    │   ├── GraphManager.vcxproj.filters
    │   ├── jobmanager
    │   │   ├── DrHeaders.h
    │   │   ├── targetver.h
    │   │   └── version.cpp
    │   ├── kernel
    │   │   ├── DrCluster.cpp
    │   │   ├── DrCluster.h
    │   │   ├── DrClusterInternal.h
    │   │   ├── DrKernel.h
    │   │   ├── DrMessagePump.cpp
    │   │   ├── DrMessagePump.h
    │   │   ├── DrProcess.cpp
    │   │   ├── DrProcess.h
    │   │   ├── DrResources.cpp
    │   │   ├── DrResources.h
    │   │   ├── drxcompute.cpp
    │   │   └── drxcomputeinternal.h
    │   ├── packages.config
    │   ├── reporting
    │   │   ├── DrArtemisLegacyReporting.cpp
    │   │   ├── DrArtemisLegacyReporting.h
    │   │   ├── DrCalypsoReporting.cpp
    │   │   ├── DrCalypsoReporting.h
    │   │   └── DrReporting.h
    │   ├── shared
    │   │   ├── DrArray.h
    │   │   ├── DrArrayList.h
    │   │   ├── DrAssert.h
    │   │   ├── DrCritSec.h
    │   │   ├── DrDictionary.h
    │   │   ├── DrError.cpp
    │   │   ├── DrError.h
    │   │   ├── DrErrorInternal.h
    │   │   ├── DrFileWriter.cpp
    │   │   ├── DrFileWriter.h
    │   │   ├── DrLogging.cpp
    │   │   ├── DrLogging.h
    │   │   ├── DrMultiMap.h
    │   │   ├── DrRef.cpp
    │   │   ├── DrRef.h
    │   │   ├── DrSet.h
    │   │   ├── DrShared.h
    │   │   ├── DrSort.h
    │   │   ├── DrString.cpp
    │   │   ├── DrString.h
    │   │   ├── DrStringUtil.cpp
    │   │   ├── DrStringUtil.h
    │   │   └── DrTypes.h
    │   ├── stagemanager
    │   │   ├── DrDefaultManager.cpp
    │   │   ├── DrDefaultManager.h
    │   │   ├── DrDynamicAggregateManager.cpp
    │   │   ├── DrDynamicAggregateManager.h
    │   │   ├── DrDynamicBroadcast.cpp
    │   │   ├── DrDynamicBroadcast.h
    │   │   ├── DrDynamicDistributor.cpp
    │   │   ├── DrDynamicDistributor.h
    │   │   ├── DrDynamicRangeDistributor.cpp
    │   │   ├── DrDynamicRangeDistributor.h
    │   │   ├── DrPipelineSplitManager.cpp
    │   │   ├── DrPipelineSplitManager.h
    │   │   ├── DrStageHeaders.h
    │   │   ├── DrStageStatistics.cpp
    │   │   └── DrStageStatistics.h
    │   └── vertex
    │       ├── DrClique.cpp
    │       ├── DrClique.h
    │       ├── DrCohort.cpp
    │       ├── DrCohort.h
    │       ├── DrGraph.cpp
    │       ├── DrGraph.h
    │       ├── DrOutputGenerator.cpp
    │       ├── DrOutputGenerator.h
    │       ├── DrStageManager.h
    │       ├── DrVertexCommand.cpp
    │       ├── DrVertexCommand.h
    │       ├── DrVertex.cpp
    │       ├── DrVertex.h
    │       ├── DrVertexHeaders.h
    │       ├── DrVertexRecord.cpp
    │       └── DrVertexRecord.h
    ├── Install.ps1
    ├── JobBrowser
    │   ├── Calypso
    │   │   └── Properties
    │   │       └── AssemblyInfo.cs
    │   ├── doc
    │   │   ├── clusterBrowser.png
    │   │   ├── clusterEditor.png
    │   │   ├── clusterManipulation.png
    │   │   ├── clusterMenu.png
    │   │   ├── dynamicPlan.png
    │   │   ├── filteringVertex.png
    │   │   ├── jobBrowserManual.docx
    │   │   ├── jobBrowser.png
    │   │   ├── jobFiltering.png
    │   │   ├── jobMenu.png
    │   │   ├── jobPlan.png
    │   │   ├── jobSchedule.png
    │   │   ├── jobSummary.png
    │   │   ├── stageCode.png
    │   │   ├── stageFiltering.png
    │   │   ├── stageStatistics.png
    │   │   ├── stageVertices.png
    │   │   ├── staticPlan.png
    │   │   ├── vertexState.png
    │   │   ├── vertexStatistics.png
    │   │   └── viewMenu.png
    │   ├── JobBrowser
    │   │   ├── app.config
    │   │   ├── app.manifest
    │   │   ├── ClusterBrowser.cs
    │   │   ├── ClusterBrowser.designer.cs
    │   │   ├── ClusterBrowser.resx
    │   │   ├── ClusterConfigEditor.cs
    │   │   ├── ClusterConfigEditor.Designer.cs
    │   │   ├── ClusterConfigEditor.resx
    │   │   ├── Diagnosis.cs
    │   │   ├── DiagnosisResult.cs
    │   │   ├── DiagnosisResult.Designer.cs
    │   │   ├── DiagnosisResult.resx
    │   │   ├── DryadAnalysis.ico
    │   │   ├── DryadJobMain.cs
    │   │   ├── icons
    │   │   │   ├── ClusterBrowser.ico
    │   │   │   ├── Cluster.ico
    │   │   │   ├── DryadAnalysis.ico
    │   │   │   └── JobBrowser.ico
    │   │   ├── JobBrowser.cs
    │   │   ├── JobBrowser.csproj
    │   │   ├── JobBrowser.Designer.cs
    │   │   ├── JobBrowser.resx
    │   │   ├── jobschedule.cs
    │   │   ├── LocalDebuggingAndProfiling.cs
    │   │   ├── LogViewer.cs
    │   │   ├── LogViewer.Designer.cs
    │   │   ├── LogViewer.resx
    │   │   ├── packages.config
    │   │   └── Properties
    │   │       ├── AssemblyInfo.cs
    │   │       ├── Resources.Designer.cs
    │   │       └── Resources.resx
    │   ├── JobBrowser.sln
    │   ├── JOM
    │   │   ├── app.config
    │   │   ├── clusteraccess.cs
    │   │   ├── ClusterConfiguration.cs
    │   │   ├── ClusterStatus.cs
    │   │   ├── dryadlog.cs
    │   │   ├── jobinfo.cs
    │   │   ├── JobObjectModel.csproj
    │   │   ├── JobSummary.cs
    │   │   ├── packages.config
    │   │   ├── Properties
    │   │   │   └── AssemblyInfo.cs
    │   │   └── storage.cs
    │   ├── Tools
    │   │   ├── drawingSurface.cs
    │   │   ├── Graphlayout.cs
    │   │   ├── partitionedTables.cs
    │   │   ├── Properties
    │   │   │   └── AssemblyInfo.cs
    │   │   ├── tools.cs
    │   │   └── Tools.csproj
    │   └── UsefulForms
    │       ├── FilteredDataGridView.cs
    │       ├── FilteredDataGridView.Designer.cs
    │       ├── FilteredDataGridView.resx
    │       ├── PasswordDialog.cs
    │       ├── PasswordDialog.Designer.cs
    │       ├── Properties
    │       │   └── AssemblyInfo.cs
    │       ├── Status.cs
    │       ├── UrlDialog.cs
    │       ├── UrlDialog.Designer.cs
    │       ├── UrlDialog.resx
    │       ├── UsefulForms.csproj
    │       ├── WarningBox.cs
    │       ├── WarningBox.Designer.cs
    │       └── WarningBox.resx
    ├── LICENSE.txt
    ├── LinqToDryad
    │   ├── app.config
    │   ├── Attributes.cs
    │   ├── BitVector.cs
    │   ├── CodeGenHelper.cs
    │   ├── Constants.cs
    │   ├── DataPath.cs
    │   ├── DataProvider.cs
    │   ├── DataSetInfo.cs
    │   ├── DryadLinqBinaryReader.cs
    │   ├── DryadLinqBinaryWriter.cs
    │   ├── DryadLinqBlockStream.cs
    │   ├── DryadLinqCodeGen.cs
    │   ├── DryadLinqCollection.cs
    │   ├── DryadLinqContext.cs
    │   ├── DryadLinqDecomposition.cs
    │   ├── DryadLinqEnumerable.cs
    │   ├── DryadLinqException.cs
    │   ├── DryadLinqExpression.cs
    │   ├── DryadLinqExtension.cs
    │   ├── DryadLinqFactory.cs
    │   ├── DryadLinqFaultCodes.cs
    │   ├── DryadLinqGlobals.cs
    │   ├── DryadLinqHelper.cs
    │   ├── DryadLinqJobExecutor.cs
    │   ├── DryadLinqLog.cs
    │   ├── DryadLinqMetaData.cs
    │   ├── DryadLinqNative.cs
    │   ├── DryadLinqObjectStore.cs
    │   ├── DryadLinqQueryable.cs
    │   ├── DryadLinqQuery.cs
    │   ├── DryadLinqQueryDoc.cs
    │   ├── DryadLinqQueryExplain.cs
    │   ├── DryadLinqQueryGen.cs
    │   ├── DryadLinqQueryNode.cs
    │   ├── DryadLinqQueryRuntime.cs
    │   ├── DryadLinqRecordReader.cs
    │   ├── DryadLinqRecordWriter.cs
    │   ├── DryadLinqSampler.cs
    │   ├── DryadLinqSerialization.cs
    │   ├── DryadLinqStream.cs
    │   ├── DryadLinqStringDictionary.cs
    │   ├── DryadLinqStringList.cs
    │   ├── DryadLinqTextReader.cs
    │   ├── DryadLinqTextWriter.cs
    │   ├── DryadLinqUtil.cs
    │   ├── DryadLinqVertex.cs
    │   ├── DryadLinqVertexParams.cs
    │   ├── DryadLinqVertexReader.cs
    │   ├── DryadLinqVertexWriter.cs
    │   ├── DynamicManager.cs
    │   ├── ExpressionMatcher.cs
    │   ├── ExpressionSimplifier.cs
    │   ├── ExpressionVisitor.cs
    │   ├── ForkTuple.cs
    │   ├── Hash64.cs
    │   ├── IAssociative.cs
    │   ├── IDecomposable.cs
    │   ├── IDryadLinqJobSubmission.cs
    │   ├── LineRecord.cs
    │   ├── LinqToDryad.csproj
    │   ├── LocalJobSubmission.cs
    │   ├── MultiBlockStream.cs
    │   ├── MultiEnumerable.cs
    │   ├── MultiQueryable.cs
    │   ├── NativeBlockStream.cs
    │   ├── packages.config
    │   ├── PeloponneseJobSubmission.cs
    │   ├── Properties
    │   │   └── AssemblyInfo.cs
    │   ├── QueryTraceLevel.cs
    │   ├── SimpleRewriter.cs
    │   ├── SR.Designer.cs
    │   ├── SR.resx
    │   ├── TypeSystem.cs
    │   ├── VertexCodeGen.cs
    │   ├── VertexEnv.cs
    │   └── YarnJobSubmission.cs
    ├── LocalScheduler
    │   ├── app.config
    │   ├── Computer.cs
    │   ├── LocalScheduler.cs
    │   ├── LocalScheduler.csproj
    │   ├── packages.config
    │   ├── PeloponneseInterface.cs
    │   ├── Process.cs
    │   ├── Properties
    │   │   └── AssemblyInfo.cs
    │   └── Queues.cs
    ├── Microsoft.Research.Dryad.nuspec
    ├── Microsoft.Research.Dryad.targets
    ├── ProcessService
    │   ├── app.config
    │   ├── Cache.cs
    │   ├── Constants.cs
    │   ├── HttpServer.cs
    │   ├── packages.config
    │   ├── ProcessService.cs
    │   ├── ProcessService.csproj
    │   ├── Program.cs
    │   ├── Properties
    │   │   └── AssemblyInfo.cs
    │   └── SpillMachine.cs
    ├── README.txt
    ├── samples
    │   ├── Microsoft.Research.DryadLinq.Samples.nuspec
    │   └── WordCount.cs.pp
    ├── SharedAssemblyInfo.cs
    └── XmlDoc
        ├── Content
        │   ├── GettingStarted
        │   │   ├── Building the Job Browser.aml
        │   │   ├── QuickStart.aml
        │   │   └── SettingUpCluster.aml
        │   ├── GettingStarted.aml
        │   ├── Resources
        │   │   └── Running a job on HDInsight.aml
        │   ├── Resources.aml
        │   ├── VersionHistory
        │   │   ├── v0.1.2.aml
        │   │   ├── v0.2.0.aml
        │   │   ├── v0.2.1.aml
        │   │   └── VersionHistory.aml
        │   └── Welcome.aml
        ├── ContentLayout.content
        ├── Media
        │   └── Dryad on Azure Architecture.png
        ├── XmlDoc.shfbproj
        └── XmlDoc.sln

69 directories, 565 files