ડિસ્કોર્સ એનાલિસિસ માટે YouTube ટ્રાન્સક્રિપ્ટ કોર્પસ કેવી રીતે બનાવવો

તે કઈ સમસ્યા ઉકેલે છે

મેન્યુઅલ ટ્રાન્સક્રિપ્શન અભ્યાસને થોડા ડઝન વીડિયો સુધી મર્યાદિત રાખે છે, અને કામચલાઉ સ્ક્રેપિંગ સ્ક્રિપ્ટ તૂટી જાય છે અને ફરી ચલાવવી મુશ્કેલ હોય છે. સંશોધકોને નિર્ધારિત ચેનલો અને તારીખોના સેમ્પલ માટે સંપૂર્ણ ટ્રાન્સક્રિપ્ટ એકત્ર કરવાની, તેને મેટાડેટા સાથે સ્ટોર કરવાની, અને પોતાની પદ્ધતિ શેર કરવાની ભરોસાપાત્ર રીત જોઈએ, જેથી અન્ય લોકો તેને પુનરાવર્તિત કરી શકે.

પહેલા વર્ઝનમાં શું સામેલ કરવું

• ■ચેનલોનું દસ્તાવેજીકૃત સેમ્પલ અને તારીખ શ્રેણી
• ■મેટાડેટા સાથે કાચા JSON તરીકે સ્ટોર થયેલી સંપૂર્ણ ટ્રાન્સક્રિપ્ટ
• ■દરેક વીડિયો માટે કૅપ્શન સ્રોત નોંધાયેલો (મેન્યુઅલ, ઓટોમેટિક કે AI)
• ■R, Python, NVivo કે ATLAS.ti માટે CSV કે ટેક્સ્ટમાં એક્સપોર્ટ
• ■પુનરાવર્તન માટે ફરી ચલાવી શકાય તેવી કલેક્શન સ્ક્રિપ્ટ

તેને સ્ટેપ બાય સ્ટેપ કેવી રીતે બનાવવું

1. 01

   સેમ્પલ નક્કી કરો

   તમે જે ચેનલો અને સમયગાળાનો અભ્યાસ કરશો તેની યાદી બનાવો, અને મેથડ્સ વિભાગ માટે સમાવેશના માપદંડ નોંધો.

2. 02

   વીડિયો યાદીઓ રિઝોલ્વ કરો

   દરેક ચેનલ માટે /channels/resolve કૉલ કરો અને પરિણામોને પબ્લિશ તારીખ મુજબ ફિલ્ટર કરો.

3. 03

   ટ્રાન્સક્રિપ્ટ એકત્ર કરો

   વીડિયો ID ને /batch પર મોકલો અને દરેક ટ્રાન્સક્રિપ્ટની ભાષા અને કૅપ્શન સ્રોત સહિત સંપૂર્ણ JSON રિસ્પોન્સ સ્ટોર કરો.

4. 04

   વિશ્લેષણ માટે તૈયાર કરો

   વીડિયો ID, ચેનલ, તારીખ અને ટાઇમસ્ટેમ્પ સાથે ટ્રાન્સક્રિપ્ટને ટેક્સ્ટ કે CSV તરીકે એક્સપોર્ટ કરો, પછી ટૉપિક મૉડેલ, કીવર્ડ ફ્રીક્વન્સી કે ગુણાત્મક કોડિંગ વડે વિશ્લેષણ કરો.

સ્ટાર્ટર કોડ

આ આઇડિયા "રેસીપી 3: પ્લેલિસ્ટને નોલેજ બેઝમાં બલ્ક-લોડ કરો" પેટર્ન પર બનેલો છે. તમારી પોતાની ચેનલ, પ્રોમ્પ્ટ અને સ્ટોરેજ વાપરો.

import requests

API = "https://www.youtubetranscript.dev/api/v2"
HEADERS = {"Authorization": "Bearer yt_sk_live_YOUR_KEY"}

playlist = requests.post(f"{API}/playlists/resolve", headers=HEADERS,
                         json={"playlist_url": "https://www.youtube.com/playlist?list=PLAYLIST_ID",
                               "limit": 100}).json()

ids = [v["video_id"] for v in playlist["items"]]
batch = requests.post(f"{API}/batch", headers=HEADERS, json={
    "video_ids": ids,
    "format": {"timestamp": True, "paragraphs": True},
}).json()

# Large batches run async: poll GET /batch/{batch_id} until status is "completed"
for r in batch.get("results", []):
    if r["status"] == "completed":
        for p in r["data"]["transcript"].get("paragraphs") or []:
            store(video_id=r["video_id"], start=p["start"], text=p["text"])  # your vector DB

તે બનાવવા યોગ્ય કેમ છે

સંશોધકો માટે વળતર એ છે કે મેન્યુઅલ ટ્રાન્સક્રિપ્શનના ખર્ચ અને સમયના નાના ભાગમાં પુનઃઉત્પાદન કરી શકાય તેવો ડેટાસેટ મળે છે. ટીમો મીડિયા મોનિટરિંગ ફર્મ અને થિંક ટેન્ક માટે પેઇડ ડેટાસેટ કે એનાલિટિક્સ સેવાઓ પણ બનાવે છે.

ટાળવા જેવી ભૂલો

• ✕નોંધ્યા વિના ઓટોમેટિક અને માનવ કૅપ્શન મિક્સ કરવા: કૅપ્શન સ્રોત નોંધો કારણ કે ચોકસાઈ અલગ હોય છે.
• ✕કાચા રિસ્પોન્સ સેવ ન કરવા: મૂળ JSON સ્ટોર કરો જેથી તમારું વિશ્લેષણ ફરી ચલાવી શકાય.
• ✕એથિક્સ રિવ્યૂ અને પ્લેટફોર્મની શરતોને અવગણવી: ડેટાસેટ પબ્લિશ કરતા પહેલાં તમારી સંસ્થાની જરૂરિયાતો અને YouTube ની શરતો તપાસો.

આ આઇડિયા વિશેના પ્રશ્નો