반응형 전체 글71 [논문 리뷰] doc2query : Document Expansion by Query Prediction 시작하기 앞서 doc2query란 문서 단위로 적합한 질의를 예측하는 모델로, 특정 문서를 클릭했을 때 사용자 관심사를 추정할 수 있음. 사용자 질의에는 포함되어 있지 않지만 사용자의 숨겨진 검색 의도를 클릭한 문서를 통해 예측할 수 있고, 사용자 검색 의도에 부합하는 더 구체적으로 좁혀진 의도의 문서들을 추천할 수 있다. doc2query를 제안하며 이를 통해 Document Expansion 하는 논문이 바로 Document Expansion by Query Prediction. https://arxiv.org/abs/1904.08375 Document Expansion by Query Prediction One technique to improve the retrieval effectiveness .. 2022. 6. 28. Google's vector search technology https://cloud.google.com/blog/topics/developers-practitioners/find-anything-blazingly-fast-googles-vector-search-technology Find anything blazingly fast with Google's vector search technology | Google Cloud Blog How do YouTube, Google Search, and Google Play instantly find what you want in the vast sea of web content? Try the demo and find out. Hint: it’s vector search. cloud.google.com - 최근 Goo.. 2022. 6. 28. Universal Sentence Encoder (USE) 구글 vertext AI matching 알고리즘에서 query와 document 를 미리 임베딩해놓고 서치를 진행 임베딩할때 Universal Sentence Encoder (USE)를 사용한다고 해서 서치를 해보았다. Universal Sentence Encoder는 텍스트 분류, 의미론적 유사성, 클러스터링 및 기타 자연어 처리에 사용할 수있는 고차원 벡터로 텍스트를 인코딩한다. 단순히 단어가 아닌 시퀀스의 의미를 모델링 하였다고 한다. 특징은 다음과 같다. Transformer layer를 이용한 초기 pre-trained 모델 Sentence embedding vector를 생성하는 것이 목표 Sentence 단위로 transfer learning한 모델이 word 단위로 한 것보다 더 좋다. .. 2022. 6. 28. [Elastic Search] Linux user 추가 및 권한 설정 Elasticsearch를 실행하던 중, root계정에서 실행할 수 없다는 에러가 발생했다. 이를 해결하기 위해 user를 생성하고 elasticsearch 폴더에 해당 유저 권한을 부여한 뒤 해당 유저로 접속하면 실행이 가능하다. 유저 생성 $ useradd name(유저명) root 또는 sudo 권한이 있는 사용자만 user add 명령어를 사용하여 새 사용자 계정을 만들 수 있따. userad가 호출되면 useradd는 명령줄에 지정된 옵션과 /etc/default/useradd 파일에 설정된 기본값을 따라 새 사용자 계정을 생성한다. user를 생성했으면, 해당 폴더에 유저 권한을 부여한다. 유저 권한 부여 $ chown -R name:name elasticsearch(권한을 부여할 폴더) 그리.. 2022. 5. 31. [python] 가상환경(virtual environments) 에서 개발하기 개발을 하다보면, 서로 다른 버전의 라이브러리들로 개발환경을 구축할 때가 있다. 그런데 라이브러리 간 종속성 문제로 버전이 안맞아서 충돌이 일어나거나 다른 버전으로 테스트 해보고 싶을때마다 매번 삭제하고 다시 설치하기 번거롭다. 이럴때 가상환경을 생성해서 작업을 하면 편하다. 가상환경을 사용하면 독립된 작업공간에서 개발을 할 수 있기 때문이다. python으로 가상환경을 만드는 방법으로 보통 conda와 venv 를 많이 사용한다. 하나씩 알아보자. 1) conda conda로 가상환경을 만들려면 우선 anaconda 가 설치되어 있어야 한다. anaconda 설치는 아래 페이지를 통해 할 수 있다. 본인 os에 맞는 설치파일을 다운받아서 깔면 된다. https://www.anaconda.com/prod.. 2022. 5. 31. 이전 1 ··· 10 11 12 13 14 15 다음 반응형
