Tokenizers 설치/에러/해결

pip로 설치하면 다음과 같다

pip install tokenizers

하지만 설치가 안될 경우가 종종 있다.

[코드를 다운 받아서 설치하는 방법]

-anaconda에 설치하기 때문에 새로운 방법이 필요했다.

먼저 rust를 설치한다.

curl https://sh.rustup.rs -sSf | sh -s -- -y
export PATH="$HOME/.cargo/bin:$PATH"

다음에는 코드를 다운받아서 설치한다.

git clone https://github.com/huggingface/tokenizers
cd tokenizers/bindings/python

# Install `tokenizers` 
conda install -c conda-forge setuptools-rust
python setup.py install

conda를 사용하여 설치하기 때문에 pip install setuptools_rust 대신에 conda install -c conda-forge setuptools-rust를 사용한다.

이렇게 하면 될 것 같았는데 conda라서 그런지 conda env에 설치되지 않았다. 

따라서  ./bindings/python/build/lib.linux-x86_64-3.7/tokenizers의 파일을 conda의 가상환경 위치(~/anaconda3/envs/pl/lib/python3.7/site-packages/)로 cp -r 를 이용하여 옮겨놓았더니 해결

[참조]  tokenizers · PyPI