ignore another advert search result

for youtubekids.com, when searchign for youtube kids

ignore hashtag related search results

includingResultsForRenderer is shown when searching e.g. for '#foo' to
also show results for 'foo'. hashtagTileRenderer is a link to
'/hashtag/<search_query>' telling you that there are X videos from X
channels about that topic.

ignore useless info message search result

happens when searching for a youtube url, e.g.
    /search?q=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dxxxxxxxxxxx

ignore another search result ad type

remove old commented out templating code

fix COURSE/"learning playlist" special-casing

this appears to no longer be needed. new test case (since the tomscott
playlist can't be searched for any more):
- PLRqwX-V7Uu6Zy51Q-x9tMWIv9cueOFTFA
  "Code! Programming with p5.js" by "The Coding Train"
- /search?q=The+Coding+Train&type=playlist
- /channel/UCvjgXvBlbQiydffZU7m1_aw/playlists

port videoid_from_thumbnail() to |G()

search results: only parse first itemSectionRenderer

no idea why i switched that around (no comment in eaa6b44 about it
either), so reverting that. let's us remove flatten() now.

don't throw 500 error when logging unknown card type

oops :D

port parse_channel_items() to |G()

and remove now obsolete listfind(), first(), findall()

don't break when video in /channel/ has no title

apparently, a gridVideoRenderer item can have no 'title' key.

found in the wild on:
- /channel/UChi1hV75qQtKOHatzOWKk5A/ (twice!)
- /channel/UC07djtPESgvXX0B1UFjW9jA/

hackily add back publish date to /watch

this is relatively hidden intentionally, since we don't want to
encourage too many requests to the show=meta endpoint.

expose additional metadata link in 'more actions' section

also emojifies invidious/youtube links there

fix reddit 'more' button

implement /watch?show=meta to get metadata removed from ANDROID api

prefer microformat.publishDate

applies to g_v_i(metaOnly). videoDetails.publishDate is "0" for premiere
videos.

remove rating and thumbs up/down, as that is now removed from the response

use correct published time for database when available

now, premiere videos are properly crawled_at=now(); published_at=soon()

[DATABASE CHANGE: Migration below] mark premiering videos with 'SOON' badge

their premiering date is now captured correctly, too.

ALTER TABLE videos ADD COLUMN premiere BOOLEAN DEFAULT 0;

handle missing averageRating

seems to be absent from responses now sometimes

try /c/ before /user/ when canonicalizing user names

especially for <instance_host>/<something>; this returned the wrong
channel, if there is both a /c/ and a /user/ with the same id.
example:
  c/BoyBoyProductions => UC_S45UpAYVuc0fYEcHN9BVQ (would be correct)
  user/BoyBoyProductions => UC2ct7L3mSnprF5o0GAWLzrg (this was selected)

tell the user to log in to view livestreams/geolocked videos, if applicable.

allow limiting proxy to authenticated users

g.proxy_on should be accessed through getattr(g, 'proxy_on', None).
This allows for the following states:
  True: proxy can be used
  False: proxy use is denied; try logging in
  None: proxy is disabled globally

expose reddit sort orders to users

ask for forgiveness when finding video_url

previously, this caused exceptions on utils.py pull, probably due to
scheduled videos, but haven't investigated that.

undo reddit continuation/pagination harmonisation

macros.pagination -> macros.more

hard-codes label text, removes obsolete direction marker

replace querystring_page() by jinja2 code inside the macro

removes handling of obsolete special cases and prev-page-handling. also
remove back button from subscriptions page, since nothing else uses that
feaure any more.
note: {% set _nil = ... %} simulates a {% do ... %} expression, which
isn't available by default in flask's jinja config.

allow linking to timestamps with macros.card; use it in reddit/

harmonize 'more' button between browse/* and reddit/

now only the subscription feed uses the special features of the
pagination macro. preparation for getting rid of this.

only show 'more' button on reddit

mimic recent changes in /browse/

port search to new api; use continuation tokens here too

allow specifying fetch_ajax() endpoint and make payload configurable

in preperation to move search to new api

add NO-URL error description

use continuation token instead of manually paginated results

this is how youtube does it, and this also works for channel?sort=oldest

improve makefile

commit database change to setup.sql

makefile: automatically generate hmac secrets for config.ini

describe what each module does in advance install section

enable proxy by default

listen on port 8080 by default to encourage reverse-proxying

update installation instructions

provide a semi-automatic install mechanism

use systemd timers instead of cronjobs

remove webhooks gunicorn

this is too much complexity for a default install. running webhooks
externally will still be supported (as that's what s.gir.st will
continue to do).

allow running setup.sql/guest.sql multiple times

[DATABASE CHANGE: Migration below] implement on-line user creation

ALTER TABLE users ADD COLUMN is_admin BOOLEAN DEFAULT 0;
UPDATE users SET is_admin = 1 WHERE name = "admin"; -- replace with your username

remove now unused cipher fetching code

now independent of jwz's youtubedown :^)

switch to ANDROID player API

provideds unthrottled and even unscrambled streams. we do have to give
up some metadata: category, availableCountries, infocards, published.

redirect thumnail urls

requests to these urls are probably caused by invidious-redirect
extensions.

take full youtube.com urls as path, and redirect accordingly

this version only handles redirections to /watch for now.

add method to allow downloading though yt-dlp

https://github.com/iv-org/invidious/pull/1730
https://github.com/yt-dlp/yt-dlp/commit/df0c81513e0bb37986d00c532a5ad8cef31a24ea

split stream_map.adaptive into *_video and *_audio

fix try_int() to actually return something

urgh.

avoid contacting innertube api when video id is obviously wrong

avoid int(request.args.get('page'))

this throws a ValueError when ?page=abc. the replacement returns a
default value, or None instead.

fix ?show=audio for unplayable videos

they might have metadata, but can still be UNPLAYABLE.

handle the case when we can't connect to googlevideo

note: we should also verify the ?mn param's contents

fix url extraction of non-embeddable livestreams

test id: 31NX4zpsKuI

allow /embed/ urls with final /

handle geolocked videos not available in the server's region

example video: cjPWJycHImg

make channel page sorting link(-ish) instead of a select box

use same embedder-url as yt-dlp

https://github.com/yt-dlp/yt-dlp/commit/5dcbfdc3cdcfc1f8d70515197d1f6dfcbb28251a

further enhance age-gate bypass

only non-embeddable, age-gated videos can't be played now. we try the
embedded version first, since this works on all videos that don't have
embedding disabled by the uploader. only on those, we fetch the /watch
version. if it still doesn't work, we look at the error message to
determine if this was an age-gate or another error.

further values for clientScreen (extracted from player/base.js):
EMBED,WATCH,CHANNEL,LIVE_MONITOR,WATCH_FULL_SCREEN,ADUNIT,UNKNOWN

better, near-complete age-gate bypass

https://github.com/yt-dlp/yt-dlp/pull/575#issuecomment-888837000

use ANDROID instead of TVHTML5 for 2nd order fallback

still flaky, but at least not a 100% failure rate. as per this comment:
https://github.com/yt-dlp/yt-dlp/issues/319#issuecomment-884610537

implement horizontalListRenderer container and stub out gridChannelRenderer

implement gridShowRenderer playlist type

reintroduce TVHTML5 get_video_info

some age-gates can't be bypassed by the new api

fix str-in-None exception, some comments

move to new api again, use new api for age-gate bypass

get_video_info?html5=1 is now also being shut down, so we do really need
to move to the new innertube api. :/

Revert "Revert "remove useless for loop, implement age-gate bypass""

This reverts commit 80ff9d8a9335559ff59ec1bc0f86733bf583ec00.

Revert "Revert "fix missing metadata""

This reverts commit 2115aa02e37b1d966ee33a618bee2b64b884c111.

Revert "Revert "replace /get_video_info call""

This reverts commit fa9b2bd0a1b5d34595d3cd0724615f31c7ef0897.

Revert "simpler fix for failing get_video_info"

This reverts commit aaac9569d599056f02befe7b4cbc9bf9763b6920.

s/freenode/libera.chat/g

work around youtube not returning player_response

also fixes an exception that occurred when returning 'exhausted' error

fix rating when absent

displayed as -25%up / 125%down -- oops :D

high(er) quality 'video unavailable' error page

use apostrophe as thousands seperator

periods and commas could be interpreted as decimals, thin space was too
easily overlooked (if displayed at all). the swiss version seems to be
an acceptable compromise.

replace star rating with thumbs up/down percentage

also replace 'blacklisted in' with the shorter 'blocked in' for
aesthetic reasons.

cache POST requests, explicity not cache some POSTs

simpler fix for failing get_video_info

youtube-dl issue that suggested that fix:
https://github.com/ytdl-org/youtube-dl/issues/29086

in the long term, we should probably move to the innertube api, but for
now this feels safer.

youtube-dlp innertube patch:
https://github.com/yt-dlp/yt-dlp/pull/328

Revert "replace /get_video_info call"

This reverts commit c19bf7d000590f032275cb744c86f57dddb48dba.

Revert "fix missing metadata"

This reverts commit 890fc200e8b3834f21ddfce18ae458bae5333537.

Revert "remove useless for loop, implement age-gate bypass"

This reverts commit 5ca7bc097abf30de5f5872cc51e58974a4b2a56a.

remove useless for loop, implement age-gate bypass

fix missing metadata

web_embedded_player doesn't return metadata, so viewing watch.j2 failed.

replace /get_video_info call

this has sporadically returned errors for the last few days, and now
does it all the time. youtube.com/watch and /embed have moved to this
endpoint, with the same key as is used elsewhere in the innertube api.

this probably is the beginning of the end of the seperate /browse
endpoint, as innertube is now required in core.

add ellipsis to truncated video titles

all browsers have this implemented with the -webkit- prefix, even
firefox.

naively add length badge to reddit videos if available

e.g. /r/mealtimevideos suffixes video titles with '[mm:ss]'. this patch
makes no attempt at validating or cleaning up the returned string.

matching is so lax, it sometimes matches production year e.g. '(2021)'.

note that the string is also not escaped; but no unsafe chars (<&'")
are matched in the regex. I'm sure it'll bite me somewhere in the
future.

don't load livestreams through proxy for osx(?) devices

some browsers reporting as osx will request the hls_manifest way too
often, causing strain on the server. however, it just so happens that
osx supports native hls playback, so we can just have them talk to
google's servers directly.

this commit also introduces EXT-X-ENDLIST to */hls_variant/*, so it
only gets requested once.

[DATABASE CHANGE: Migration below] make login tokens revocable

Note that without the migration, nothing except magic-token-login will
break.

Migration:
    INSERT INTO user_tokens SELECT id, token FROM users;

fix cipher extraction

was probably broken for a while :|

new element to extract looks like this:
<script src="/s/player/d29f3109/player_ias.vflset/en_US/base.js" nonce="Cw+Vevjw67B1RSjJHbh/fw">

exclude /static files from anticsrf

add info flash when (un)pinning/(un)subscribing/etc. with undo

makes it ovious what happened and allows undoing fat-fingered actions.

fix port80 auto-restart

display innertube error to user

example: /channel/UCpExuV8qJMfCaSQNL1YG6bQ/

refactored prepare_channel while i was at it to use |G().

remove hls test route

add a in-tree copy of hls.js, update licensing section in readme