세상을 개발하는 남자

2. SOLR 설정

2.1 scheme.xml 편집

SOLR 홈 디렉토리 아래의 scheme.xml 파일을 편집기로 연 후, 도큐먼트의 필드정보를 설정한다.

2.1.1 filed속성 정리

<fields>

<field name="docId" type="long" indexed="true" stored="true" required="true" />

<field name="categoryId" type="long" indexed="false" stored="true" />

<field name="contents" type="string" indexed="true" stored="true" />

</fields>

- name(필수) : 필드의 이름

- type(필수) : <types>영역에 미리 정의된 데이터 타입

- indexed : 인덱싱 여부(true면 인덱싱이 되어 검색 및 정렬이 가능)

- stored : true면, 데이터를 보관한다.

- required : 필수로 입력되어야 하는 필드일 경우 true로 설정

- compressed : true이면, gzip을 이용하여 데이터를 압축해서 저장한다.

                (TextField와 StrField 타입만 가능하다. )

- multiValued : true이면 해당 필드는 한 document 마다 여러 개의 값을 가질 수 있다.

2.1.2 고유키 설정

고유키로 지정된 필드는 중복된 값이 인덱스에 존재할 수 없고, 만약 인덱싱 시에 동일한 값이 이미 존재한다면, 오래된 문서에 대한 인덱싱 정보는 삭제되고 새로운 정보가 남게 된다.

<uniqueKey> docId </uniqueKey>

(설정된 필드는 반드시 인덱싱 되어야 한다.)

2.1.3 기본 검색 필드 설정

검색 시 특정 필드가 지정되지 않은 겨우 기본적으로 검색 대상이 될 필드를 설정한다.

<defaultSearchField>text</defaultSearchField>

2.1.4 검색 연산자 지정

복수개의 단어 검색 시 적용할 연산자를 설정한다.

(AND -> 모든 단어를 포함, OR –> 하나 이상의 단어를 포함한 컨텐츠 검색)

<solrQueryParser defaultOperator="OR"/>

2.1.5 멀티 인덱싱 설정

여러 개의 필드를 하나의 필드처럼 사용해야 할 경우에 아래와 같이 설정한다. (4번의 검색 연산자 적용 등)

<copyField source="title" dest="text"/>

<copyField source="contents" dest="text"/>

2.2 필터 매핑 설정

WEB-INF/web.xml 파일에서 아래처럼 디스패처 필터의 매핑 설정을 추가한다.

<filter>

    <filter-name>SolrRequestFilter</filter-name>

    <filter-class>org.apache.solr.servlet.SolrDispatchFilter</filter-class>

</filter>

<filter-mapping>

    <filter-name>SolrRequestFilter</filter-name>

    <url-pattern>/*</url-pattern>

</filter-mapping>

프로젝트 적용을 위해 조사하고 정리했던 내용 공개합니다.
문제 소지가 있다면 삭제하겠습니다.
하나의 프로젝트에 적용하기 위한 방법이므로,
경우에 따라 적용 방법이 이 메뉴얼과 다를 수 있습니다.


1. SOLR 설치

1.1 환경 요구사항

- 자바5 또는 그 이상을 필요로 한다.

- 톰캣, 제티, 레진과 같은 서블릿 컨테이너가 필요하다.

1.2 다운로드

아래 경로를 통해 검색서버 SOLR 최신 버전을 다운로드한다. (현재 최신버전은 apache-solr-1.3.0)

http://mirror.apache.or.kr/lucene/solr/

1.3 기본 디렉토리 설정

SOLR를 구동시키기 위해서는 ‘SOLR 홈 디렉토리’를 설정해야 한다. 임의의 경로를 설정하지 않을 경우 디폴트 디렉토리로 JVM’s Current Working Directory($CWD/solr)로 자동 설정된다.

홈 디렉토리 설정을 하기 위해 아래의 명령으로 자바 시스템 프로퍼티로 지정해야한다.

 > export JAVA_OPTS="$JAVA_OPTS -Dsolr.solr.home=/my/custom/solr/home/dir/"

다운로드 받은 압축파일을 압축 해제한 후, ‘apache-solr-1.3.0/example/solr/’ 디렉토리 안의 모든 디렉토리 및 파일들을 위에서 설정한 ‘SOLR 홈 디렉토리’로 복사한다.

1.4 라이브러리 설치

Solr를 사용하기 위해서는 몇 개의 라이브러리를 추가해야 한다. 압축을 풀면 나오는 아래의 라이브러리들을 적용하고자 하는 프로젝트의 ‘/WEB-INF/lib/’ 디렉토리로 이동시키면 된다.

-       apache-solr-1.3.0/lib 폴더 아래의 모든 라이브러리 파일

-       apache-solr-1.3.0/dist/apache-solr-common-1.3.0.jar

-       apache-solr-1.3.0/dist/apache-solr-core-1.3.0.jar

-       apache-solr-1.3.0/dist/apache-solr-dataimporthandler-1.3.0.jar (DataImportHandler사용시 필요)

-       apache-solr-1.3.0/dist/apache-solr-solrj-1.3.0 (Solrj API 사용시 필요)

-       apache-solr-1.3.0/dist/solrj-lib 폴더 아래의 모든 라이브러리 파일 (Solrj API 사용시 필요)

* 중복되는 라이브러리가 존재할 경우 가장 최신의 것을 사용해야 한다. 그렇지 않으면 예상치 못한 오류가 발생할 수 있다.

출처 : http://narrowway.tistory.com/43

CSV파일

Comma Separated Value의 약자로,
데이타를 컴머(,)단위로 잘라서 나열한 파일 형태.

컴머단위로 잘라져 있으므로, 텍스트 파일로도 읽을수 있지만,
엑셀파일로도 바로 읽을수 있다는 장점이 있어서
많은 데이타 관련 소프트웨어에서 사용되고 있다.

1. 자바에서의 구현

    // 파일 다운로드 형식 지정
    res.setContentType("application/octet-stream;charset=Shift_JIS");
    res.setHeader("Content-Disposition","attachment; filename="+selected_Table+"_"+date+".csv");
    PrintWriter out=res.getWriter();

    // 데이타를 DB로 부터 읽어서 CSV로 만드는 과정
      query = "select * from " + selected_Table;
     
      PreparedStatement pstmt = con.prepareStatement(query);
      rs = pstmt.executeQuery();

      String strData = "";
      while(rs.next()){
       
        for(int i=0 ; i < selectedFieldList.length ; i++){
 　　　　strData = rs.getString(Integer.parseInt(selectedFieldList[i])+1);
 　　　　if(strData==null){strData="";}
   　　　out.print( new String( strData.getBytes("8859_1"),"Shift_JIS") );
            out.print(i<selectedFieldList.length ? "," : "");
        }
        out.print(System.getProperty("line.separator"));
      }

      위와같이 컴마와 System.getProperty("line.separator")를 이용해서 제어가 가능하고,
      문자열처리과정을 일본어의 경우 new String( strData.getBytes("8859_1"),"Shift_JIS")
      처럼 해결해 주면 된다.

2. 주의할 점

     CSV파일의 가장 주의점이라 한다면 데이타 자체에 컴마나 줄바꿈 표시가 들어가 있는 경우로,
     이때는 의도하지 않는 데이타상의 구분이 생겨버리므로,
     향후 엑셀로 읽으려 할때에는 전체 테이블이 깨져버린다.
    
      private String checkDataFormat(String data){

           String returnVal = data;
   
           returnVal = returnVal.replaceAll(","," ");
           returnVal = returnVal.replaceAll("\n"," ");
           returnVal = returnVal.replaceAll("\r"," ");
           returnVal = returnVal.replaceAll("\r\n"," ");
   
           return returnVal;
     }

     와 같은 방법으로 데이타 치환을 해주어야 한다.