solr的配置——schema.xml和solrconfig.xml

2020-12-16 16:51:43 编辑 0 阅读量:663

# 一、schema.xml
schema.xml这个配置文件的根本目的是为了通过配置告诉Solr如何建立索引。
## 1. schema.xml的基本结构如下：
```xml
<schema>
    <types>
    <fields>
    <uniqueKey>
    <copyField>
</schema>
```
常用的配置说明：
- field：定义一个document中的各个fields
    - name：必填。该field的名字。前后都有下划线的name是系统保留的名字，比如“_version_”
    - type：必填。类型，对应于fieldType的name
    - default：该field的缺省值
    - indexed：true/false，是否为该field建立索引，以让用户可以搜索它、统计它（facet）
    - stored：true/false，定义这个field是否可以返回给查询者
    - multiValued：true/false，是否可以容纳多个值（比如多个copyField的dest指向它）。如果是true，则该field不能被排序、不能作为uniqueKey
    - required：true/false，告诉solr这个field是否接受空值，缺省为false
    - docValues：true/false，建立document-to-value索引，以提高某些特殊搜索的效率（排序、统计、高亮）
- copyField：把一个field的内容拷贝到另外一个field中。一般用来把几个不同的field copy到同一个field中，以便进行统一的检索
    - source：被拷贝的field，支持用通配符指定多个field，比如：*_name
    - dest：拷贝到的目的field
    - maxChars：最大字符数
- uniqueKey：指定一个field为唯一索引
- fieldType：定义field的类型，包括下面一些属性
    - name：必填，被field配置使用，对应field中的type
    - class：必填，filedType的实现类。solr.TextField是路径缩写，"等价于"org.apache.solr.schema.TextField"
    - multiValued：true/false，是否可以容纳多个值
    - positionIncrementGap：指定mutiValued的距离
    - ananlyzer：如果class是solr.TextField，这个配置是必填的。告诉solr如何处理某些单词、如何分词，比如要不要去掉“a”，要不要全部变成小写……
        - type：index或query，表明在建索引的时候使用还是在查询时使用
        - tokenizer：分词器，比如：StandardTokenizerFactory
        - filter：过滤器，比如：LowerCaseFilterFactory。用于过滤到文本中不需要的成分，如英文中的a,the等介词或标点符号和空格。它们需要我们制定一个txt作为过滤的依据词典，例如stopwords.txt、synonyms.txt等
- dynamicField：用通配符定义一个field来存在没有被field定义的漏网之鱼
    - name：使用通配符，比如“*_i”，来处理类似“cost_i”之类的field

## 2. 一个简单的例子
```
<?xml version="1.0" encoding="UTF-8" ?>
  <schema name="sjsmhp" version="1.5">
   <uniqueKey>id</uniqueKey>
   
   <field name="id" type="long" indexed="true" stored="true" multiValued="false" /> 
   <field name="name_cn" type="text_general" indexed="ture" stored="true"  />  
   <field name="name_en" type="text_general" indexed="ture" stored="true"  />  
   <field name="continents_cn" type="text_general" indexed="ture" stored="true"  />  
   <field name="continents_en" type="text_general" indexed="ture" stored="true"  />  
   <field name="en_first_letter" type="string" indexed="ture" stored="true"  /> 
   <field name="cn_first_letter" type="string" indexed="ture" stored="true"  /> 
   <field name="sort" type="int" indexed="ture" stored="false"  />  
   <field name="_version_" type="long" indexed="true" stored="true"/>
   <field name="_root_" type="string" indexed="false" stored="false"/>
     
   <field name="text" type="text_general" indexed="true" stored="false" multiValued="true"/>

<fieldType name="string" class="solr.StrField" sortMissingLast="true" />
   <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true"/>
   <fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/>
   <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" positionIncrementGap="0"/>
   <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
   <fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" positionIncrementGap="0"/>
   
   <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
     <analyzer type="index">
       
       <tokenizer class="solr.StandardTokenizerFactory"/>
       <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
       <filter class="solr.LowerCaseFilterFactory"/>
     </analyzer>
     <analyzer type="query">
       <tokenizer class="solr.StandardTokenizerFactory"/>
       <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
       <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
       <filter class="solr.LowerCaseFilterFactory"/>
     </analyzer>
   </fieldType>
     <fieldType name="uuid" class="solr.UUIDField" indexed="false" />
</schema>
```

# 二、solrconfig.xml
solrconfig.xml配置文件主要定义了SOLR的一些处理规则，包括索引数据的存放位置，更新，删除，查询的一些规则配置

## 1. 索引配置
 
mainIndex 标记段定义了控制Solr索引处理的一些因素.

- useCompoundFile：通过将很多 Lucene 内部文件整合到单一一个文件来减少使用中的文件的数量。这可有助于减少 Solr 使用的文件句柄数目，代价是降低了性能。除非是应用程序用完了文件句柄，否则 false 的默认值应该就已经足够。

- useCompoundFile：通过将很多Lucene内部文件整合到一个文件，来减少使用中的文件的数量。这可有助于减少Solr使用的文件句柄的数目，代价是降低了性能。除非是应用程序用完了文件句柄，否则false的默认值应该就已经足够了。

- mergeFacor：决定Lucene段被合并的频率。较小的值（最小为2）使用的内存较少但导致的索引时间也更慢。较大的值可使索引时间变快但会牺牲较多的内存。（典型的 时间与空间 的平衡配置）

- maxBufferedDocs：在合并内存中文档和创建新段之前，定义所需索引的最小文档数。段 是用来存储索引信息的Lucene文件。较大的值可使索引时间变快但会牺牲较多内存。

- maxMergeDocs：控制可由Solr合并的 Document 的最大数。较小的值（`<10,000`）最适合于具有大量更新的应用程序。

- maxFieldLength：对于给定的Document，控制可添加到Field的最大条目数，进而阶段该文档。如果文档可能会很大，就需要增加这个数值。然后，若将这个值设置得过高会导致内存不足错误。

- unlockOnStartup：告知Solr忽略在多线程环境中用来保护索引的锁定机制。在某些情况下，索引可能会由于不正确的关机或其他错误而一直处于锁定，这就妨碍了添加和更新。将其设置为true可以禁用启动索引，进而允许进行添加和更新。（锁机制）

- requestHandler "/select"的缺省“df”是“text”。如果想要的缺省搜索info_text，所以需要在solrconfig.xml中修改：
```
  <requestHandler name="/select" class="solr.SearchHandler">
     <lst name="defaults"> 
       <str name="echoParams">explicit</str>
       <int name="rows">10</int>
       <str name="defType">edismax</str>
       <str name="df">info_text</str>  
     </lst>
    </requestHandler>
```

## 2. 查询处理配置

query标记段中以下一些与缓存无关的特性：
- maxBooleanClauses：定义可组合在一起形成以个查询的字句数量的上限。正常情况1024已经足够。如果应用程序大量使用了通配符或范围查询，增加这个限制将能避免当值超出时，抛出TooMangClausesException。

- enableLazyFieldLoading：如果应用程序只会检索Document上少数几个Field，那么可以将这个属性设置为true。懒散加载的一个常见场景大都发生在应用程序返回一些列搜索结果的时候，用户常常会单击其中的一个来查看存储在此索引中的原始文档。初始的现实常常只需要现实很短的一段信息。若是检索大型的Document，除非必需，否则就应该避免加载整个文档。
 
query部分负责定义与在Solr中发生的时间相关的几个选项：
 
- 概念：Solr（实际上是Lucene）使用称为Searcher的Java类来处理Query实例。Searcher将索引内容相关的数据加载到内存中。根据索引、CPU已经可用内存的大小，这个过程可能需要较长的一段时间。要改进这一设计和显著提高性能，Solr引入了一张“温暖”策略，即把这些新的Searcher联机以便为现场用户提供查询服务之前，先对它们进行“热身”。

- newSearcher和firstSearcher事件，可以使用这些事件来制定实例化新Searcher或第一个Searcher时，应该执行哪些查询。如果应用程序期望请求某些特定的查询，那么在创建新Searcher或第一个Searcher时就应该反注释这些部分并执行适当的查询。
 
query中的智能缓存：
 
- filterCache：通过存储一个匹配给定查询的文档 id 的无序集，过滤器让 Solr 能够有效提高查询的性能。缓存这些过滤器意味着对Solr的重复调用可以导致结果集的快速查找。更常见的场景是缓存一个过滤器，然后再发起后续的精炼查询，这种查询能使用过滤器来限制要搜索的文档数。

- queryResultCache：为查询、排序条件和所请求文档的数量缓存文档 id 的有序集合。

- documentCache：缓存Lucene Document，使用内部Lucene文档id（以便不与Solr唯一id相混淆）。由于Lucene的内部Document id 可以因索引操作而更改，这种缓存不能自热。

- Named caches：命名缓存是用户定义的缓存，可被 Solr定制插件 所使用。

其中filterCache、queryResultCache、Named caches（如果实现了org.apache.solr.search.CacheRegenerator）可以自热。
每个缓存声明都接受最多四个属性：
- class：是缓存实现的Java名
- size：是最大的条目数
- initialSize：是缓存的初始大小
- autoWarmCount：是取自旧缓存以预热新缓存的条目数。如果条目很多，就意味着缓存的hit会更多，只不过需要花更长的预热时间。

对于所有缓存模式而言，在设置缓存参数时，都有必要在内存、cpu和磁盘访问之间进行均衡。统计信息管理页（管理员界面的Statistics）对于分析缓存的 hit-to-miss 比例以及微调缓存大小的统计数据都非常有用。而且，并非所有应用程序都会从缓存受益。实际上，一些应用程序反而会由于需要将某个永远也用不到的条目存储在缓存中这一额外步骤而受到影响。

---
参考：
- [1][Solr-Schema.xml配置](http://www.jianshu.com/p/4d7c1f87c68e)
- [2][Solr笔记（2）_Schema.xml和solrconfig.xml分析](http://blog.csdn.net/escaflone/article/details/5726320)
- [3][Solr 配置文件之schema.xml](http://blog.csdn.net/clementad/article/details/47666043)
- [4][Solr的schema.xml](https://my.oschina.net/dabird/blog/550996)

solr的配置——schema.xml和solrconfig.xml

附件: