Vektonn高性能向量搜索引擎中文介绍

【实例简介】
Vektonn:高性能向量搜索引擎
Vektonn是一款为数据科学应用设计的高性能战-tested kNN向量搜索引擎。它帮助你管理向量的生命周期，并大幅缩短产品上市时间。
特点：

• 支持密集和稀疏向量
• 提供精确和近似kNN（AkNN）算法
• 可扩展架构，轻松处理数百GB的向量数据

组件：Vektonn包含三个主要部分：API、索引和数据源。

• API提供搜索和上传向量数据的方法，它将请求代理到相应的索引和数据源。
• 数据源是持久存储所有向量数据的地方，目前使用Apache Kafka实现。
• 索引是数据源中数据的内存快照，它从相应的数据源异步更新。

数据源的数据可以分布（分片）在多个索引上，以适应托管节点的RAM。

【实例截图】
【核心代码】
文件清单
└── vektonn-387c118f6b53c3718b608ee779796fa5a2a5fa86
    ├── docker-compose-up.sh
    ├── docker-compose.yaml
    ├── docs
    │   ├── assets
    │   │   ├── vektonn-components.svg
    │   │   ├── vektonn-star-rounded-transparent.png
    │   │   ├── vektonn-star-rounded-transparent.svg
    │   │   ├── vektonn-star-rounded-white.png
    │   │   ├── vektonn-star-rounded-white.svg
    │   │   ├── vektonn-star-white.png
    │   │   └── vektonn-star-white.svg
    │   ├── features.md
    │   ├── index.md
    │   ├── overrides
    │   │   └── partials
    │   │       └── source.html
    │   ├── quick-start.md
    │   ├── reference
    │   │   ├── api.md
    │   │   ├── specification.md
    │   │   └── supported-algorithms.md
    │   └── swagger
    │       ├── dist
    │       │   ├── favicon-16x16.png
    │       │   ├── favicon-32x32.png
    │       │   ├── oauth2-redirect.html
    │       │   ├── swagger-ui-bundle.js
    │       │   ├── swagger-ui-bundle.js.map
    │       │   ├── swagger-ui.css
    │       │   ├── swagger-ui.css.map
    │       │   ├── swagger-ui-es-bundle-core.js
    │       │   ├── swagger-ui-es-bundle-core.js.map
    │       │   ├── swagger-ui-es-bundle.js
    │       │   ├── swagger-ui-es-bundle.js.map
    │       │   ├── swagger-ui.js
    │       │   ├── swagger-ui.js.map
    │       │   ├── swagger-ui-standalone-preset.js
    │       │   └── swagger-ui-standalone-preset.js.map
    │       ├── index.html
    │       ├── swagger.json
    │       └── update-swagger-json.sh
    ├── LICENSE
    ├── mkdocs.yml
    ├── README.md
    ├── scripts
    │   └── update-kafka-run-script-for-kraft.sh
    ├── src
    │   ├── CodeStyle.DotSettings
    │   ├── Directory.Build.props
    │   ├── Dockerfile
    │   ├── global.json
    │   ├── nuget.config
    │   ├── Vektonn.ApiClient
    │   │   ├── HttpClusterClient
    │   │   │   ├── AbsoluteUriClusterClient.cs
    │   │   │   ├── AbsoluteUriRequestUrlBuilder.cs
    │   │   │   ├── ClusterClientExtensions.cs
    │   │   │   ├── IRequestUrlBuilder.cs
    │   │   │   ├── RelativeUriRequestUrlBuilder.cs
    │   │   │   └── VektonnClusterClientException.cs
    │   │   ├── IndexShard
    │   │   │   ├── IndexShardApiAbsoluteUriClusterClient.cs
    │   │   │   └── IndexShardApiClient.cs
    │   │   ├── VektonnApiClient.cs
    │   │   ├── Vektonn.ApiClient.csproj
    │   │   └── VektonnApiClusterClient.cs
    │   ├── Vektonn.ApiContracts
    │   │   ├── AttributeDto.cs
    │   │   ├── AttributeValueDto.cs
    │   │   ├── DenseVectorDto.cs
    │   │   ├── ErrorDto.cs
    │   │   ├── FoundDataPointDto.cs
    │   │   ├── IndexInfoDto.cs
    │   │   ├── InputDataPointDto.cs
    │   │   ├── Json
    │   │   │   ├── HttpJson.cs
    │   │   │   └── VectorDtoJsonConverter.cs
    │   │   ├── SearchQueryDto.cs
    │   │   ├── SearchResultDto.cs
    │   │   ├── SparseVectorDto.cs
    │   │   ├── VectorDto.cs
    │   │   └── Vektonn.ApiContracts.csproj
    │   ├── Vektonn.ApiService
    │   │   ├── ApiServiceApplication.cs
    │   │   ├── ApiServiceEntryPoint.cs
    │   │   ├── Controllers
    │   │   │   ├── SearchApiController.cs
    │   │   │   └── UploadApiController.cs
    │   │   ├── Properties
    │   │   │   └── launchSettings.json
    │   │   ├── Services
    │   │   │   └── IndexShardApiClientProvider.cs
    │   │   └── Vektonn.ApiService.csproj
    │   ├── Vektonn.DataSource
    │   │   ├── IDataSourceConsumer.cs
    │   │   ├── IDataSourceProducer.cs
    │   │   ├── Kafka
    │   │   │   ├── KafkaConsumerConfig.cs
    │   │   │   ├── KafkaConsumer.cs
    │   │   │   ├── KafkaDataSourceConsumer.cs
    │   │   │   ├── KafkaDataSourceProducer.cs
    │   │   │   ├── KafkaProducerConfig.cs
    │   │   │   ├── KafkaProducer.cs
    │   │   │   ├── KafkaProducerException.cs
    │   │   │   ├── KafkaTopicCreationConfig.cs
    │   │   │   ├── KafkaTopicCreator.cs
    │   │   │   ├── KafkaTopicNameFormatter.cs
    │   │   │   └── KafkaTopicPartitionOffsets.cs
    │   │   └── Vektonn.DataSource.csproj
    │   ├── Vektonn.Hosting
    │   │   ├── Configuration
    │   │   │   └── KafkaConfigurationProvider.cs
    │   │   ├── Constants.cs
    │   │   ├── EnvironmentVariables.cs
    │   │   ├── FileSystemHelpers.cs
    │   │   ├── IShutdownTokenProvider.cs
    │   │   ├── IVektonnApplication.cs
    │   │   ├── IVektonnApplicationHost.cs
    │   │   ├── LoggingConfigurator.cs
    │   │   ├── ShutdownTokenProvider.cs
    │   │   ├── VektonnApplicationBase.cs
    │   │   ├── VektonnApplicationHost.cs
    │   │   ├── VektonnApplicationHostSettings.cs
    │   │   └── Vektonn.Hosting.csproj
    │   ├── Vektonn.IndexShard
    │   │   ├── AttributesAccessor.cs
    │   │   ├── ByteArrayComparer.cs
    │   │   ├── IIndexShard.cs
    │   │   ├── IIndexShardUpdater.cs
    │   │   ├── IndexDataPointSerializer.cs
    │   │   ├── IndexShardHolder.cs
    │   │   ├── IndexWithLocker.cs
    │   │   ├── ISearchQueryExecutor.cs
    │   │   ├── SplitIndexShard.cs
    │   │   ├── Vektonn.IndexShard.csproj
    │   │   └── WholeIndexShard.cs
    │   ├── Vektonn.IndexShardService
    │   │   ├── Controllers
    │   │   │   └── IndexShardApiController.cs
    │   │   ├── IndexShardServiceApplication.cs
    │   │   ├── IndexShardServiceEntryPoint.cs
    │   │   ├── Properties
    │   │   │   └── launchSettings.json
    │   │   ├── Services
    │   │   │   ├── IIndexShardAccessor.cs
    │   │   │   ├── IIndexShardOwner.cs
    │   │   │   ├── IndexShardConfiguration.cs
    │   │   │   ├── IndexShardConfigurationProvider.cs
    │   │   │   ├── IndexShardHostedService.cs
    │   │   │   └── IndexShardOwner.cs
    │   │   └── Vektonn.IndexShardService.csproj
    │   ├── Vektonn.SharedImpl
    │   │   ├── ApiContracts
    │   │   │   ├── AttributeValueConversions.cs
    │   │   │   ├── Validation
    │   │   │   │   ├── AttributeValidator.cs
    │   │   │   │   ├── AttributeValueShardingValidator.cs
    │   │   │   │   ├── DenseVectorValidator.cs
    │   │   │   │   ├── InputDataPointValidator.cs
    │   │   │   │   ├── SearchQueryValidator.cs
    │   │   │   │   ├── SparseVectorValidator.cs
    │   │   │   │   └── SplitFilterValidator.cs
    │   │   │   └── VectorConversions.cs
    │   │   ├── BinarySerialization
    │   │   │   ├── AttributeValueSerializer.cs
    │   │   │   └── InputDataPointSerializer.cs
    │   │   ├── Configuration
    │   │   │   ├── IIndexMetaProvider.cs
    │   │   │   ├── IIndexShardsTopologyProvider.cs
    │   │   │   ├── IndexMetaProvider.cs
    │   │   │   └── IndexMetaYamlParser.cs
    │   │   ├── Contracts
    │   │   │   ├── AttributeValue.cs
    │   │   │   ├── AttributeValueTypeCode.cs
    │   │   │   ├── DataPoint.cs
    │   │   │   ├── DataPointOrTombstone.cs
    │   │   │   ├── DataSourceId.cs
    │   │   │   ├── DataSourceMeta.cs
    │   │   │   ├── FoundDataPoint.cs
    │   │   │   ├── IndexAlgorithm.cs
    │   │   │   ├── IndexId.cs
    │   │   │   ├── IndexMeta.cs
    │   │   │   ├── InputDataPoint.cs
    │   │   │   ├── InputDataPointOrTombstone.cs
    │   │   │   ├── SearchQuery.cs
    │   │   │   ├── SearchResultItem.cs
    │   │   │   ├── Sharding
    │   │   │   │   ├── AttributeValueHasher.cs
    │   │   │   │   ├── DataSource
    │   │   │   │   │   ├── DataSourceShardingMeta.cs
    │   │   │   │   │   ├── HashBasedDataSourceAttributeValueSharder.cs
    │   │   │   │   │   ├── IDataSourceAttributeValueSharder.cs
    │   │   │   │   │   └── ValueBasedDataSourceAttributeValueSharder.cs
    │   │   │   │   ├── IAttributeValueHasher.cs
    │   │   │   │   ├── IAttributeValueProjector.cs
    │   │   │   │   ├── IdentityAttributeValueProjector.cs
    │   │   │   │   ├── Index
    │   │   │   │   │   ├── DataSourceShardSubscription.cs
    │   │   │   │   │   ├── IIndexAttributeValueShard.cs
    │   │   │   │   │   ├── IndexAttributeValueShard.cs
    │   │   │   │   │   ├── IndexShardingRule.cs
    │   │   │   │   │   ├── IndexShardMeta.cs
    │   │   │   │   │   └── IndexShardsMapMeta.cs
    │   │   │   │   └── ShardAttributeValueProjector.cs
    │   │   │   └── Tombstone.cs
    │   │   ├── Json
    │   │   │   └── DebugJson.cs
    │   │   ├── SearchResultsMerging
    │   │   │   ├── ByPropertyComparer.cs
    │   │   │   └── FoundDataPointsMerger.cs
    │   │   └── Vektonn.SharedImpl.csproj
    │   ├── Vektonn.sln
    │   ├── Vektonn.sln.DotSettings
    │   ├── Vektonn.Tests
    │   │   ├── ApiClient
    │   │   │   ├── IndexShardApiTests.cs
    │   │   │   └── VektonnApiTests.cs
    │   │   ├── ApiContracts
    │   │   │   └── HttpJsonTests.cs
    │   │   ├── AttributeValueTestHelpers.cs
    │   │   ├── DataSource
    │   │   │   └── KafkaTopicPartitionOffsetsTests.cs
    │   │   ├── IndexShard
    │   │   │   ├── AttributesAccessorTests.cs
    │   │   │   ├── ByteArrayComparerTests.cs
    │   │   │   ├── IndexDataPointSerializerTests.cs
    │   │   │   ├── IndexShardHolderTests.cs
    │   │   │   └── SplitIndexShardTests.cs
    │   │   ├── RandomHelpers.cs
    │   │   ├── SharedImpl
    │   │   │   ├── ApiContracts
    │   │   │   │   ├── AttributeDtoTestHelpers.cs
    │   │   │   │   ├── AttributeValidatorTests.cs
    │   │   │   │   ├── AttributeValueShardingValidatorTests.cs
    │   │   │   │   ├── DenseVectorValidatorTests.cs
    │   │   │   │   ├── InputDataPointValidatorTests.cs
    │   │   │   │   ├── SearchQueryValidatorTests.cs
    │   │   │   │   ├── SparseVectorValidatorTests.cs
    │   │   │   │   ├── SplitFilterValidatorTests.cs
    │   │   │   │   └── VectorDtoTestHelpers.cs
    │   │   │   ├── BinarySerialization
    │   │   │   │   ├── AttributeValueSerializerTests.cs
    │   │   │   │   └── InputDataPointSerializerTests.cs
    │   │   │   ├── Configuration
    │   │   │   │   ├── IndexMetaProviderTests.cs
    │   │   │   │   └── IndexMetaYamlParserTests.cs
    │   │   │   ├── SearchResultsMerging
    │   │   │   │   ├── ByPropertyComparerTests.cs
    │   │   │   │   └── FoundDataPointsMergerTests.cs
    │   │   │   └── Sharding
    │   │   │       ├── AttributeValueHasherTests.cs
    │   │   │       ├── DataSourceShardingMetaTests.cs
    │   │   │       ├── IndexAttributeValueShardTests.cs
    │   │   │       ├── IndexShardMetaTests.cs
    │   │   │       ├── IndexShardsMapMetaTests.cs
    │   │   │       └── ShardAttributeValueProjectorTests.cs
    │   │   └── Vektonn.Tests.csproj
    │   └── version.json
    └── tests
        └── config
            ├── data-sources
            │   ├── QuickStart.Source
            │   │   └── 1.0.yaml
            │   └── Samples.SparseVectors
            │       └── 0.1.yaml
            ├── index-shards-topology.yaml
            └── indices
                ├── QuickStart.Index
                │   └── 1.0.yaml
                └── Samples.SparseVectors
                    └── 0.1.yaml

58 directories, 214 files