Não se pode passar labels negativas para o ctc. O correto é fazer o padding com labels negativas e, de algum jeito, deletar o padding antes de passar pela função ctc_batch_cost. O jeito correto é passar o tamanho da label de forma que não pegue o padding. Está sendo feito desse jeito no código, mas coloquei um padding a mais para indicar o fim da label e o começo do padding. Sub-ótimo mas não atrapalha.