본문 바로가기

PIPELINE3

Kubeflow pipeline 작성 및 pvc에 저장하기 kubeflow를 통해 모델 생성을 위한 pipeline을 작성하고 작성된 모델을 kfserving을 통해 serving을 해볼 수가 있다. 오늘은 그 작업을 해보려고 한다. 우선 pipeline을 작업하기 위해서는 아래와 같은 requirements 가 필요하다. kfp == 1.8.9 scikit-learn == 1.0.1 dill == 0.3.4 numpy kfserving 위 python package를 설치했다면 이제 pipeline을 위한 코드를 작성해보자. pipeline.py import kfp from kfp import onprem from kfp import dsl def preprocess_op(): return dsl.ContainerOp( name='Preprocess Data'.. 2022. 12. 29.
spaCy 사용하기 -Processing Pipelines 우리가 spaCy를 사용하기 위해 nlp 객체에 text 파라미터를 입력하면 결과적으로 아래와 같은 pipeline이 실행 된다. 아래와 같이 model을 호출하면, spaCy에서는 처음에 model의 meta.json을 읽는다. meta.json에는 model name과 language, description pipeline이 json 포멧으로 나타나 있다. nlp = spacy.load('en') {"name": "model_name","lang": "en","description": "model description", "pipeline": ["tagger", "parser"]} spaCy에서는 model.json에 나타난 pipeline을 읽고 해당 pipeline을 처리한 후 결과 Doc 객체를.. 2018. 4. 21.
수동으로 파이프라인 구축하기 전 포스팅에는 uri를 가져와서 playbin에 담은 후 gst_parse_launch를 통해 pipeline을 구축하는 방법을 설명했다. 이번에는 직접 pipeline을 구축해 보려고 한다. 이번에도 컴파일을 한 후 재생을 해보자. $> g++ -o tutorial2 tutorial2.c `pkg-config --cflags --libs gstreamer-1.0` 예전에 화면 조정 시간에 많이 봤던 장면이네..코드를 살펴보자.. gst_init(&argc, &argv); 이전 포스팅에서 설명했으니 이번엔 skip.. source = gst_element_factory_make("videotestsrc", "source");sink = gst_element_factory_make("autovideosin.. 2015. 3. 20.